组成54军的另一支部队是原第44军130师，也就是抗战爆发后在冀中地区组建的八路军第3纵队。抗战时期，这支部队在极端艰苦的情况下进行平原游击战，著名的“回民支队”就是其中的一部分。1942年，日寇调集重兵发动了惨绝人寰的“五一大扫荡”，部队撤至晋绥根据地。抗战胜利后，根据朱德总司令的命令，吕正操带领约1个团的冀中子弟兵进军东北，后来参加了东北解放战争，并改编为东北民主联军7纵19师。解放战争中，19师参加了血战四平、锦州战役和天津战役，以打城市攻坚战见长。平津战役后，19师被编为44军130师，最终成为54军的组成部分。

1953年，组建成立不久的54军入朝作战，参加了包括金城战役在内的254次大小战斗，歼敌7000余人。停战后，54军参加了朝鲜的重建工作，直到1958年才作为最后一批志愿军撤回祖国。不久，西北少数民族地区发生了大规模的叛乱，54军马不停蹄前往甘肃、青海高原地区参加平叛战斗。1959年，西藏发生大规模叛乱，54军又在平叛战斗中克服高原、气候等种种不利因素，出色完成了巩固边疆的任务。

1962年，54军参加了中印边界自卫反击战。同年11月初，该军在喜马拉雅山南麓的瓦弄地区干脆利落地歼灭了印军精锐第4军一部约万人，这支印度军队曾在二战中击败过被称为“沙漠之狐”的德国元帅隆美尔的部队，受到过英国女王的嘉奖。这是中印边界自卫反击战中最关键、也是最后一战，史称“瓦弄大捷”。