1889年，清政府拟选拔五人去德国学习军事，名单送到李鸿章手头的时候，李鸿章想到了三年前在那场炮兵演习中表现出彩的小老乡，于是划掉其中一名，填上了段祺瑞的大名，1889年春天，段祺瑞告别妻儿子，和其他4个同学来到德国柏林陆军学院，学习军事理论和各种操练课程。一年后，他们又奉命到鲁尔区埃森克虏伯兵工厂，进行火炮实习。见识到了克虏伯家族是怎么生产出近代史上第一神炮克虏伯火炮。1890年春天，清廷特使洪春代表皇帝前往德国埃森探望留学生的时候。五名同学已经以娴熟的技术玩转各式克虏伯大炮，获得弗里茨·克虏伯的赞赏。在其它四名同学学成回国后，李鸿章又特批他的小同乡一人独留德国克虏伯炮厂学习各类火炮的型制构造、使用和保养等课程。留德期间李中常先后两次写信给段祺瑞，勉励小老乡精学苦造，希望他成为清帝国将来的炮王。

1890年末，段祺瑞学成回国，却被搁之闲职，在威海任随营教习，四年后，中日甲午海战爆发，作为一名军事教宫的段祺瑞深受抗敌官兵的爱国热情影响，亲自带领武备学堂的学生，参加战斗，协助炮台的中国守军炮轰日军，与夺取炮台的日军展开激战。

中日甲午海战中国惨败，李鸿章经营多年的北洋海军一朝化为乌有，逼迫清廷建立新式军队的呼声越来越高，1895年，袁世凯奉旨天津小站练兵，广招贤良，选拔标准是“宿将及有根底之学生”。

小站练兵成了中国军阀的摇蓝，如段祺瑞、王士珍、姜桂题、杨荣泰、龚元友、吴长纯、徐邦杰、任永清、梁华殿、冯国璋、陈光远、王占元、张怀芝、何宗莲、马龙标、雷震春、王英锴、吴凤岭、赵国贤、田中玉、孟恩远、陆建章、曹锟、张勋、段芝贵等，皆云集麾下，真是龙虎聚集。他们当中许多人日后都成为了民国的风云人物，而当时最出类拔萃的，还数北洋三杰，即王士珍、段祺瑞、冯国璋，王为龙，段为虎，冯为狗。