东晋末年北方分裂，南方军阀刘裕曾利用这一机会出师北伐，于416年和417年收复洛阳、长安。宋代词人辛弃疾曾用“金戈铁马，气吞万里如虎”形容这一南军的罕见战果。在此出现华夏可能一统的机遇面前，江南士族却群起反对北迁受风霜之苦。刘裕进退两难，顾虑后方不稳返回建康，留下儿子和部分军队守卫汉室祖先的发祥地。留守秦川的江南子弟一遇寒冬又军心动摇，面对胡骑进攻一战即溃。刘裕得知败绩后大怒，决定再次北伐，士族们却苦劝拦阻，使他最终只有“登高北望，慷慨流涕”。东晋之后的南朝四代，皇室士族都谈佛论道，醉生梦死，连“仓皇北顾”的心情也全无。

魏晋南北朝时期，除北方游牧民族实行部落兵制外，盛行的主要是曹操奠定的军户制度。当豪强主政和军阀领军时，这一制度弊端很大，军官可以把军户当农奴或私人部曲，南朝军队大都如此。不过抑制豪强后，军户制还可以发挥出优长，这是因为被定为军户的家庭不必向政府交纳租税，只担负兵役。每逢战争结束，很多士兵便可以回家种地，父老又可以子继。此种兵农合一的政策节省了朝廷的军费开支，避免征兵制增加农民负担及妨碍生产，能使国家平时少养兵、战时多出兵。

北周政权及继承它的隋朝利用当时战乱造成荒地众多的条件，分给军户一定的土地（所有权属于朝廷），使普通农民为求授田纷纷投军，兵源状态一度改善。隋军又有骑兵优势，因而能在589年灭掉南陈政权，这可以说是军制的改善促成了华夏大地重新统一。