对于乡党委、政府的处罚，刘吉华表示不服。

2016年1月22日上午，他向记者陈述心中“委屈”——按照现行的管理办法，该村村民建房在符合条件、没有占用耕地的情况下，经所在村小组同意，由村委会报送到乡里的国土、规划部门及乡纪委审定，最后区政府同意后才可以建房。此后，乡政府会与建房人签订协议，并收取一定的保证金。一旦村民违规超面积建房，会予以处罚，并分类扣除保证金。作为村主任，他只有上报村民建房请求的份，没有执法权；因此而受到处分，他觉得很意外。

刘吉华说，现在的村委会主要承担村民建房的申报、计生和两个文明建设工作。在任这些年，尤其是近几年，该村的工作不断获得上级政府的好评，荣誉接踵而至；从普通村建设成衡阳市“文明村”，还荣获了2014年湖南省“美丽乡村建设”评选的“示范村”。2013年乡党委、政府还给该村颁发了“控规拆违”一等奖。在他被免职的2014年，三星村在角山乡党委、政府的绩效考核中排名第二。这些成绩的取得是村支两委的共同努力，其中也有他辛勤的付出。现在以一个村民违规建房为由被免除职务，他心里备感难受。

刘吉华的代理人罗秋林律师则表示，在2014年角山乡党委发文对三星村村委主任刘吉华提议按程序给予免职处理后，村里并没有按照程序召开村民会议免除刘的村委会主任职务。按照《村民委员会组织法》第16条规定，只有村里五分之一以上有选举权的村民联名，才有提请罢免村民委员会成员的权力，且必须经有选举权的村民过半数通过，罢免才有效。角山乡政府直接指定他人代理村主任职务的行为，违反了《村民委员会组织法》11条的规定：任何组织或者个人不得指定、委派或者撤换村民委员会成员。

64岁的大老屋组组长何毅告诉记者，三星村是当地一个大村，有17个组共3000多村民。村支两委积极肯干，敢担责任，村里各项工作发展很快，常常在乡、区里面名列前茅。乡党委提议免除刘吉华的职务时，召开了村组干部会议。但是，当时到场的21名村组干部全部反对，大家认为违规建房是建房人经过村小组、村委会，最后由乡政府审定的，出了问题责任怎么都弄不到村主任身上来，“明显他们是在找人卸担子！”

70多岁的老村主任刘华卯称，刘吉华以前不是组长和村干部时，就十分支持村里工作，经常为大家在外面跑动，还帮村里代缴过农业税好几万元，到现在都还没有收回。刘吉华任职村主任后工作很出色。对于这次免职大家都有看法，因为村主任是村民选出的，要免必须通过村民大会，由选民决定。