出来混，总是要还的。担任洛阳丞不久，杜审言被贬江西吉州参军。离开洛阳时，陈子昂为其写了赠序，送别的文士有四十五人，皆作诗文，杜审言亦“挟琴起舞，抗首高歌”。场面动人，浑然不知前途一片凶险。到了吉州后，杜审言与同僚“不叶”，发生了矛盾。这一次可不是一般的矛盾，惹得两位上司周季重、郭若讷设计诬陷他，将其下狱并准备处死。杜审言的次子、杜甫的二叔杜并时年十六岁，在周季重的宴会上，“密怀刃以刺”，周季重负伤而亡，杜并也被军校砍杀。周季重临死前感叹：“吾不知杜审言有孝子，郭若讷误我至此！”真是上阵还需父子兵。杜并的孝行轰动一时，侯门之后、文章与张说并称为“燕许大手笔”的苏颋为墓志，工文辞、与王勃齐名的刘允济为祭文。杜审言也由此被释放，免官调回洛阳。

三年后，崔融为其在武则天面前美言，获则天召见并被授五品的著作郎。授官后，则天问杜审言“卿喜否”，杜审言手舞足蹈拜谢，作《欢喜诗》。之后，五十八岁的他终于开始梦想中的伴驾左右，官职也被升为掌管祭祀物品的膳部员外郎。作为“方外十友”成员，虽以求仙学道为主旨，但其他道友们处心积虑地积极入仕的态度不可能不影响他。接近皇帝后，杜审言也与武则天宠爱的张昌宗、张易之兄弟过从甚密。未见史书记载他与张氏兄弟有何具体勾当，但在中宗反正后流放的张氏集团成员中，杜审言被贬得倒数第二远、仅次于沈佺期，可见其罪过之重，甚至重于为张氏兄弟“捧溺器”的宋之问。很怀疑他是如晴雯般“枉担了虚名”！宋之问被贬到广东泷州，杜审言和沈佺期分别被贬到位于今天越南境内的峰州、驩州，而李峤只被贬到通州。彼时杜审言已经六十岁。贬谪官员不能结伴而行，虽同路，也只能各自独行。喜幸当时无城管设置，诗人们可以放心在墙上题诗，谓题壁是也。沈佺期过大庾岭时，看到杜审言留下的诗，便作《遥同杜员外审言过岭》。而等宋之问经过端州（广东肇庆）时，看到杜、沈等在这里的题诗，也写了《端州驿见杜审言王无竞沈佺期阎朝隐壁有题慨然成咏》。

从召回的速度亦可窥杜审言之运气。李峤、崔融是神龙元年当年即被召回任用，苏味道是次年春夏之际被召回，而杜审言是神龙三年春才遇赦北归，被授予从七品下的国子监主簿。杜审言为崔融戴孝就是这次回到东都后。景龙二年，有赖于上官婉儿扩大修文馆的建议，修文馆扩编，杜审言六十四岁时被选为七品的修文馆直学士。入职不足一年，杜审言辞世。李峤为其上奏，中宗赠著作郎。但这一哀荣来得较晚，下葬时，宋之问为其写的祭文中还称其为学士。四年后，杜甫出生。杜甫非常钦佩祖父，称“诗是吾家事”，赞其“吾祖诗冠古”。可惜这位“冠古”的大诗人命运多蹇，正所谓“成功不在于拿一手好牌，而是要把手里的坏牌打好”。