郭案牵连终遭罢黜
及至1954年，“美台共同防御条约”签署，台湾被正式纳入美国在远东的防卫圈中，台湾的安全得到极大的巩固。对于蒋介石来说，此刻的孙立人不但没有任何用处，相反还是威胁，尽管孙已经没有什么实权了。
这一年6月，孙立人被调任“总统府”参军长，明升实贬，彻底被解除了兵权。然而这还并不意味着结束，一场更大的阴谋正在酝酿当中。
1955年5月25日，在蒋的授意下，毛人凤将孙的旧部、步兵学校少校教官郭廷亮以“匪谍”为名逮捕，由此拉开又一拨整肃高潮，一周之后，台湾南部又爆发了所谓“兵谏案”。不到一个月的时间内，被拘捕的孙立人的旧部达到300多人，意在通过这些下属来寻找打击孙立人的突破口。
郭廷亮被捕4天后，蒋介石还故作无事地召见孙立人，据孙回忆：
“一九五五年五月廿八日上午十时正，‘总统’召见我，第一句话问我近来看什么书？我回答：‘看《南宋史》。’他说：‘那很好，很好。’他接著说：‘你没有什么，你以后少跟政客们来往。’我回答他说：‘是的，我一生最讨厌玩政治和与政客打交道。’他随即说：‘这次我要把你给孤立起来。’同时他面色变得很难看（气愤），随即又回转微笑（不自然的）说：‘你对于训练部队很好，不过打仗不行。’
我当时听了他这话，几乎迷惑了。真是使我啼笑皆非，不知从何说起。我当时直言以对：‘不然，将不知兵，何以为战？盖兵战实为一体两面，而不可分离。窃职总发从军追随钧座卅余年，转战国内外大小凡百余战，从未辱钧命，而攻无不克，战无不胜，守无寸土之失。殊不知钧座所言‘打仗不行’何所指也？若言争权夺利，欺世盗名，则我不屑也。’言毕敬礼而退。未想到这竟是最后一次的见面。”
面对山雨欲来，谣言满天，许多人劝孙立人尽速出走，但耿直的孙立人自认问心无愧，不为所动。而此时已被逮捕的郭廷亮，被押往高雄凤山审讯，政工干部要他承认有谋叛意图，逼他交出孙立人的所谓兵变计划。郭廷亮自然严词拒绝了这些子虚乌有的问题，于是遭受严刑拷打。他不为所动，坚持不承认有谋叛企图。眼看一招不成，保密局特勤室主任毛惕园又策划出一计。先是将郭的妻儿也关入监牢。然后他与毛人凤共同导演，劝郭廷亮写自白书承认自己是“共产党的间谍”以此来换取早日释放，并且谎称保证出狱有工作，不会牵连孙立人。在威逼利诱之下，郭廷亮写下了“自白书”。接着办案人员拿着这份“自白书”去威胁其他涉案人员，几经反复，终于有了几十份令他们满意的“自白书”。自此郭廷亮“匪谍”案和南部“兵谏”案便告坐实，扳倒孙立人已是箭在弦上。
8月3日，“总统府”局长黄伯度带着上述“自白书”来到已被宪兵包围的孙立人官邸，要其引咎辞职。孙立人知道其中必定有诈，断然拒绝。黄又透过其部下陆军副总司令贾幼慧，以及孙的侄子孙克刚等，转达“上面”坚决整顿孙立人旧属的立场，要孙立人顾全300多名部下的性命。自知回天乏术，孙立人无奈写下一份简短辞呈。然而这份辞呈并不能令上面满意，反复几次，写出了一份“符合要求”的辞呈。
8月20日，“总统府”发布“彻查令”，10月23日，歪曲事实的报告出炉，结论是：孙的部下郭廷亮“为中共工作”，利用孙的关系在军中联络军官，准备发动“兵谏”，孙未及时“举报”亦未“采取适当防范之措施”，“应负责任”。郭廷亮被判处无期徒刑，先在绿岛监狱服刑，假释后，却发生了在火车上跳车身亡的离奇“意外”。
幽居台中教子有方
对于被免职的孙立人，蒋氏父子采取“不杀、不审、不问、不判、不抓、不关”，但也“不放”的“七不”政策。1956年6月，孙立人被逐出台北市南昌路官邸，迁往台中市向上路一段18号居所，开始了漫长的软禁生涯。
孙的居所原为军方宿舍，四周筑有围墙，戒备森严，门前向上路两头堵死，由“国防部”派来的6名“保卫人员”日夜监视，外人不得入内，孙立人和家人也不能随便外出。孙的任何活动，包括打电话，都须通过“保卫人员”向上请示，得到允许后方可进行。孙立人外出，由“国防部”派车，另外，加派一辆吉普车跟随。孙家围墙外，有军事情报局加盖的一栋三层楼的指挥中心，居高临下，随时监视孙的一举一动。凡是“上头”认为“不方便”的事，孙立人均不得擅自去做。外出也必须“保卫人员”“陪同”前往。当时，蒋介石对孙立人看管极严，连孙立人的厨子身上都藏着刀，只要有人想救孙立人，立马一起干掉。
幽居的日子里，家人成了孙立人最大的安慰。孙立人与张梅英前后生育四个孩子，他以“中国安定，天下太平”为儿女命名。儿女多了，开销也变大。孙为官清廉，并无积蓄，幽禁之后又不给薪水，生活十分拮据。早在他担任陆军总司令时，家里就十分清贫，菜金要限制，若来人添菜，只有咸蛋、炒蛋或皮蛋，家人背后称为“三蛋轰炸”。张梅英回忆说：“后来四个孩子长大了，进学校读书，每天要带便当，没钱买米，四个孩子只能分三个鸡蛋吃。”
孙立人也尝试在家养鸡、养鸟，养猪，开辟果园，后来改种玫瑰，他虚心向花农请教，悉心栽培，广受欢迎，被称为“将军玫瑰”。家中有时缺少菜钱，他便到后院剪些玫瑰花，由张梅英骑自行车送到菜市场，交换一些青菜豆腐。粗茶淡饭，一家倒也其乐融融。
然而围墙之外，却是戒备森严。孙立人的小孩直到读小学之后，才有机会跟外界小朋友接触。即便如此，由于家庭的特殊身份，老师和同学都会以异样的眼神看他们。为了不给孩子心理上造成影响，孙立人很少在孩子面前讲述他的往事。
长子孙安平回忆说：“但小孩子们是有感觉的，或多或少对父亲的冤枉知道一点，心中总为父亲的遭遇叫屈。有时候看到父亲想到旧日的部属受到不好的对待，或想到过去一些不公平的事情，总是涨红了脸，不说话，我们就觉察到他很难过。”
孙立人老年得子，对他们虽疼爱有加，但管教却丝毫不放松。他每天为孩子补习功课，无论国语、英语还是数学，他都能讲解，有时比老师讲的还清楚。在他的悉心调教下，长女孙中平和幺女孙太平考取清华大学，长子孙安平考取中原理工学院，次子孙天平考取辅仁大学。四个孩子上大学，每年开学交学费，是家里的一大难事。孙立人的堂妹孙敬婉回忆说：“二哥脾气很犟，非到山穷水尽，绝不会让人帮忙。有一天，他的大儿子要进大学学费没着落，二哥迫不得已，才打电话给我，要我帮忙，我知道他一定是没办法了，才会开口的。”1974年，长女孙中平由清华毕业，父女希望能一起参加毕业典礼。但上面觉得敏感，未能前往，成为遗憾。1959年孙的亲哥哥孙同人去世时，孙立人也同样受阻未能前往，只好看着哥哥送的砚台痛哭。
到了1979年，长子安平和幺女太平同时从清华毕业，孙立人再度申请参加毕业典礼，终获许可，但同时上面与他约法三章：不许上台说话，不准带花，不准与任何人交谈。孙立人如此参加过典礼后，在笔记本上写道：有理无处讲，有冤无处申。
