高秉坊一案对倒孔是火上加油，还没有等到官司打完，孔财神在众怒之下已经垮台了。CC为了要让孔永不能翻身，原是要置高于死地，虽未达到目的，但以高压手段判了高无期，也算是一记重拳。倒台的孔祥熙与其老婆宋蔼龄早已将巨额的公家所有美金、金条从巴西转到瑞士，虽然乌纱帽丢了，但还是一个拥有 10亿美元的中国首富。

从“反孔”的战略上看，四大家族内部的派系斗争，杀了林士良之后又抓了高，加速了孔财神倒台。“四大家族”内讧，孔、宋、陈几家矛盾并没有完全让蒋介石失去“保孔”信心。岌岌欲堕的孔氏财阀，最后更疯狂，一方面在转移吞蚀的黄金、美元，又发生吞蚀了美元贷款，接着发生黄金涨价消息外泄案。这些使舆论沸腾。监察院插手调查，公布购买黄金的大户。

重庆是陪都，外国报纸和通讯派了不少记者，又以美国为多。他们向外发新闻不受任何检查。国民党中宣部以一个副部长专门与他们打交道，同时还设了一个“驻外记者招待所”，不仅要为他们提供通讯方便，对生活也派专人侍候。美国记者中虽有的为蒋说几句好话，他们可都是自由主义者，有闻必录，把孔祥熙一家丑闻都发到美国去了。国内见不到的新闻在外国报刊上反而有报道。如 1943年，孔祥熙想为财政开一条邪路，四川是产鸦片烟大省，重庆又是川、云、贵三省毒品集散地，孔投资，指定由川西最大毒品贩子、大袍哥冷开泰和重庆袍哥少壮派领袖石孝先合办公司。这件事美国记者知道了，在一次国民党行政院新闻发布会上，美记者提出这条新闻，以求证实，中宣部发言人矢口否认，此公司因而流产。

孔祥熙的丑闻避免外扬，蒋介石过去保孔为的是保己，现在到了非换马不可的时候，弃孔也是为保蒋自己。陈布雷提醒老蒋必要时还得弃车保帅。

在免去孔的职务时，蒋介石采取的是暧昧手法。1942年国际形势发生了变化，这种变化对中国抗战是有利的。成立了美、英、苏、中同盟国的反法西斯统一战线，共同消灭法西斯。此时外交比军事还重要。蒋介石委他舅兄宋子文出任外交部长，后以特使身份要去美、英签约，故提高“档次”以宋为行政院副院长兼外交部长。孔祥熙则于 1945年 5月才正式提出辞去行政院院长的辞呈。可见其中内幕之微妙。

在“四大家族”内斗失意的孔祥熙，仍然是“孔财神”。1947年四川水灾，上海市长吴国桢主持为水灾募捐大会，邀了孔出席。与会者满以为这个中国第一富豪，会乐善好施，结果孔却一毛不拔。慷慨捐献的竟是杜月笙。吴国桢对左右说：“你看这个家伙还不如一个流氓！”