林则徐已饱经宦海沉浮，开始变得瞻前顾后，忧谗畏讥。他从此不再轻易表达忧国忧民的真实想法，而将自己深深裹进明哲保身的安全外壳，以免再引起保守派官僚的攻击。连民国时期的著名史学家蒋廷黻，对此都失望地说：“难怪他后来虽又做陕甘总督和云贵总督，他总不肯公开提倡改革。他让主持清议的士大夫睡在梦中，他让国家日趋衰弱，而不肯牺牲自己的名誉去与时人奋斗。林文忠公无疑是中国旧文化最好的产品。他尚以自己的名誉比国事重要，别人更不必说了。”

然而，没有人知道，林则徐经历了怎样一番痛苦难熬的精神苦旅。

禁烟以来，最难琢磨的是皇上的心思。想当初，他深受道光帝器重，以汉人身份被破格封为钦差大臣，皇上八次召见，嘱托殷殷。隆遇之盛，实为“国初以来未有之旷典”。道光明确表示一切由他全权处置，“断不遥制”。面对皇上如此的重托殷望，他热血沸腾，宵衣旰食，掷地有声表示“若鸦片一日未绝，本大臣一日不回，誓与此事相始终”。

后来才知道，鸦片“绝不绝”，自己“回不回”，不是他说了算，是皇上说了算。而皇上内心究竟作何打算，他似乎从未真正弄明白过。当他虎门销烟初战告捷时，道光帝大喜过望，在他的奏折上朱批大加褒奖：“卿之忠心爱国皎然于域中化外矣”；而当战端突起，定海失守，道光又在上谕中怒骂林则徐：“不但终无实际，反而生出许多波澜。思之曷胜愤懑，看汝以何词对朕也！”皇上的心思就是六月的天气，“忽剿忽抚，总无定见”。最终道光还是归罪于林则徐处置失当，开罪英国，才导致后果不可收拾。捉鬼的是钟馗，放鬼的也是钟馗，总之天子圣明，臣罪当诛。到头来，他这个坚决执行圣意的耿耿臣子，反倒成了有罪之人，“从重发往伊犁效力赎罪”，以平息英人怒火。

尤其令人寒心的是，就在林赴疆就罪的途中，黄河泛滥，在军机大臣王鼎的保荐下，林则徐被派赴黄河戴罪治水。他尽心尽力苦干半年，满心希望会免于暮年戍边之苦，谁知等到东河河工告竣，所有人都论功行赏，唯独他得到的是一道“仍往伊犁”的冰冷谕旨。众情难平之时，须发皆白的王鼎伤心得泪如滂沱，深觉有负于林则徐。

一而再、再而三的打击之下，西出玉门关的林则徐的心境，正和北宋遭贬的陆游一样——“许国虽坚，朝天无路，万里凄凉谁寄音”。他的意志变得消沉起来。到了伊犁后，他开始变得只关心京城的人事变动和自己复出的可能。在西域的冰天雪地中，林则徐四处写信、寄诗，向毫不相干的人们喋喋不休地诉说自己的艰难处境，而对于东南时局，则三缄其口。