《太初历》的创造，并没有让落下闳功成名就，反而成为他仕途的终点。

车辚辚，马萧萧，一别归去不复来。

落下闳，望着背后深深的宫廷，惆怅地登上马车。以司马迁为首的旧贵族，对新贵崛起大为不满，落下闳总是被各种传言中伤。

厌倦了宫廷中的斗争，落下闳选择辞官归故里，公元前103年左右，落下闳又回到隐居的阆中桥楼。

古天文学家王笑冬推测，按历朝历代统治者的思想，天官是很重要的人物，不可能轻易接受“辞官还乡”。汉武帝是非常重视人才的，落下闳回到阆中后，仍在研究天文星象，可能秘密为汉武帝服务。

汉武帝改历过程中，因为落下闳的方案优胜于司马迁，让司马迁“脸上无光”。太初历行用后，受到包括司马迁司马迁、张寿王等人的反对，张寿王甚至提议改回到殷历。孰优孰劣，以实测为准。为此朝廷组织了一次为期3年的天文观测，同时校验太初历和古六历的数据，结果表明，太初历更为符合天象。为表彰落下闳的功绩，汉武帝特授以侍中之职，落下闳却辞而不受，隐居于落亭。

王笑冬认为，司马迁小气，落下闳在天文学中所作贡献“前无古人、后无来者”，《史记》却只是一笔带过，“至今上即位……而巴(郡)落下闳运算转历”。

阆中市文联原主席李文明说，落下闳作为浑天说的一代宗师，是无愧于世界科技史的。而作为汉元封改历首倡者之一的太史令司马迁，信奉盖天说，却在自己编制的新历法中，把太初元年(即公元前104年)定为甲寅年。

事实上，司马迁所编制的历法与当时的实际干支顺序相差二十二年。他的历法，在当时就被淘汰是理所当然的，但他还是缺乏史家气度，竟没有在《史记》中把浑天说与盖天说的这场科学论争记录下来，更没有实事求是地把太初历编进《史记·历书》，他那被否定了的《历本·甲子篇》却堂而皇之地附录其后。此举，一直受到后人诟病。