2011年从吴绮莉带女儿从上海返回香港，表面上不愁出路、其实诸事不顺。和母亲郑黎明的不合也慢慢被曝光。据媒体报道吴母精神有问题，为保母女平安吴绮莉才同卓林搬回香港，想在无线发展但并不理想、转投商业电台（商台）也仅仅拿低薪还得罪了高层。

2015年郑黎明去世，这之前吴绮莉已经有四年没有见过母亲。吴妈妈古怪孤绝的性格对吴绮莉的一生产生了极大的影响，吴绮莉透露：“离开上海前的半年，我妈半夜会跑进房间，跟我发脾气，拿菜刀逼着我去找孩子她爹。气急的时候她拿刀到处乱砍，把厨房的桌子都剁烂了，我抱着女儿缩在角落发抖……”“每次跟我妈妈拿钱的时候，她把钞票撒满一地，让我跪着一张张捡起来，女儿就在一边眼睁睁地看着……”

小时候吴绮莉因为跟爸爸长得很像，母亲的朋友来家里，看到她总会说：“郑黎明，你跟你老公离了婚，生了个孩子长得一模一样，真的惨了。”她坐在旁边，每天听进耳朵的是类似这样的话。世上几乎难以找到第二个母亲这样说自己的女儿：“你做鸡都没人要。”从小她就听着这样的话长大。有一两个阿姨甚至问她；“你是你妈生的吗？她这么说你”。一直到长大后，母亲对吴绮莉的“影响力”都没有停止。

恶花结恶果，吴绮莉成了母亲的翻版，在小龙女的身上开始重复她当年的故事。女儿做错事的时候，她曾让女儿举着《辞海》罚站两个小时，用皮带抽女儿的大腿和屁股。“比如必须晚上11点睡觉，我说三遍五遍她还不睡，我说好你不要睡了，那天真的没有让她睡，写到第二天早上5点多，从此以后她再也不敢说不要睡。”在《夜夜谈》中，她也说自己压力大了回家会发泄在女儿身上。而严苛的惩戒之后，又瞬间陷入溺爱和妥协的怪圈，比如，直到吴卓林九岁，上厕所依然由妈妈抱着。