1840年10月,清政府将林则徐革职以后，派他前往镇海协防。56岁的林则徐以带罪之身前往镇海时，携带了大量的外文书籍和资料。这些资料是他在任钦差大臣和两广总督期间，特意让人翻译的，包括澳门发行的外文书报和英国人慕瑞编写的《世界地理大全》，以及自己编成的《四洲志》。
此次路过镇江时，他将全部资料交给了曾和自己一起组办“宣南诗社”的挚友魏源，希望魏能完成他的心愿，编撰一本“唤醒世人，睁眼看世界”的著作。后来魏源果然不负重托，遍成了《海国图志》这一本系统介绍西方列强历史、疆域、政治等情况的作品。
1842年8月21日，林则徐和儿子林汝南从西安出发，赴戍伊犁，一路上四个整月，林则徐每天都写日记，最后遍成《荷戈记程》一卷，历述沿途所见所闻，并在给友人的信中自喻为“荷戈西戍之老兵”，意即要以老兵身份贡献余生。表达了他受清廷贬戍仍保持着自持、乐观的心情，当时朝野上下，有不少人都为他鸣冤叫屈，甚或有人还想为他募银赎罪，被他知晓后，写信婉言谢绝了。在长达三年的遣戍生活里，他受伊犁将军布彦泰的邀请，为当地人民兴办水利，屯辟垦田，为当地人民解决了不少问题。
1845年12月，大概是道光皇帝也觉得委屈了林则徐，清廷又起用了林则徐，，命他以四五品京堂的身份回京候用，这个消息顿时轰动全国，不少亲朋故旧都纷纷写诗祝贺。较著名的有文人官僚姚莹的七言律诗一首：“白发丹心出玉关，清风浩月满天山。五年中外同翘首，一夕乌孙报赐环。明诏应收父老泪，花砖仍冠上卿班。三朝故吏如存问，新探江源雪岭还。”深切表明了大众对这位民族英雄的爱戴。
回京后的林则徐于次年被任命为陕西巡抚，后又改升云贵总督，在任内，他澄清地方，请正廉明，深受拥护。但他在宦海沉浮的旋涡中，深深感到人生的变化无常，无法施展自己一贯的报负和主张。1849年以病为由上书引退。却又有友人以“国家中坚”的理由劝他不要引退，林则徐在回信中说“夫为国者，以人才为重，有才而无用与无才同；用之使不尽其才，与不用同；且当其为用之先，尤有所冀也，及用之而不能尽其才，或且以文法绳之，猜忌谴之，则其人之志困而不能自伸。而天下有才者闻之亦多自阻”。充分表明了对人才的看法和他壮志难酬的情怀。
辞官后的林则徐，自号“竢村老人”，寄情于山水文字之间，怡情养性，早年创办诗社的豪情又迸发了出来，他和当时的著名文人林昌彝两次同游西湖，并商量准备成立“湖上诗社”。可惜，林则徐真正静下来做文人的日子还是太短，此时广西太平天国正酝酿起义，一些拜上帝会的人不断与地主团练对抗，有过几次规模不大的冲突。为了维护统治者的利益，回家不到一年的林则徐又以钦差大臣的身份前往镇压，半路到潮州时便一病不起，于1850年10月17日去世，享年66岁。