黄楠以前对父亲的认识是：不爱穿军装，不修边幅，没事儿就去院子里看看种的豆角和葡萄，像个农民。她甚至不知道父亲是大将军衔，只是根据吉普车换成了轿车判断，他应该是升了官，直到一次从报纸上看到父亲接见外宾的消息，才知道他职位不低。

黄克诚不太会哄孩子，高兴了就只会招呼孩子：“来来来，给块糖吃！”黄楠在学校当卫生委员，要给班级写卫生评比表，就让父亲帮忙写。父亲小时候读过几年私塾，字写得很好。

父亲赋闲之后，她才开始对父亲有所了解。她开始大量阅读书籍，想从中寻找父亲出问题的答案。看到列宁曾经讲，自己的一个朋友劝高尔基，受不了革命的残酷就出国吧，她开始相信，父亲是个好人，但不够激进，不够革命。

十几岁正是“左得可爱”的年龄，孩子们一度都不想和“犯错误”的父亲接近。一次父亲鼓励小女儿黄梅争取入党，她呛了几句，心里想：“你也配谈入党？！”

黄克诚夫人唐棣华在自己工作的中国科学院学部文学研究所也受到多轮批判，被定为“严重右倾”，不断被逼揭发交代，曾多日一病不起。有好心人劝她为了孩子离婚，后来她听说彭德怀的夫人浦安修打了离婚报告，加之其他一些因素，还是提出了离婚申请，“以示对党忠诚”，但没得到上级批准。

1961年，唐棣华从工作单位申请到一套三居室宿舍，带着二儿子黄晴搬了进去，每周末回大水车胡同住一天，探望黄克诚和其他三个孩子。

1962年，由于彭德怀再上“八万言书”，被认为想翻案，黄克诚跟着遭到第二次审查。1963年，他的住地原来的“管理员”老娄被调走，中央警卫师第四团保卫股干部丛树品作为新任管理员搬了进来。总政保卫部交待丛树品，随时汇报黄克诚的情况。