本已年老体衰的彭玉麟，经此刺激，身体几乎垮掉了。
他又开始上疏辞官。
但清廷始终不让他辞去一个虚职，那就是巡阅长江五省水师差使。彭玉麟是长江水师的创建者之一，也愿与水师相终始，遂表示“谨遵上谕，照旧巡阅长江……断不敢借病推诿”。他被认为是帝国海军的奠基人，每年都要巡视水师，哪怕抱病，亦不例外。
最后一次出巡，当他抵达安庆时，安徽巡抚陈彝前往迎接。陈彝看到彭玉麟步履蹒跚，老病缠身，请他务必到城里休息。彭玉麟拒绝了，像以前率领水师训练一样，他坚持与将士一道住在船上。陈彝特别难过，他上奏朝廷，说彭玉麟确实病得厉害，希望朝廷准许其回乡养病。朝廷这才批准了。
在残烛之年，彭玉麟终于回到老家衡阳，回到他最后的归宿——那座四周种满梅花的退省庵。
回首往事，在他37岁那年，他经不住曾国藩的一再邀约，出山加入湘军水师，独率一营。在太平军的炮火如雨中，他独立船头，只说一句：“今日，我死日也。吾不令将士独死，亦不令怯者独生。”遂一战成名。日后成长为湘军水师的标志性人物、中国近代海军的奠基人，全凭当年“不要命”。
在他出山后第二年，因为率水师攻陷太平军要地，朝廷奖励他4000两白银。他转手就全部用于救济家乡，在给叔父的信中，他说：“想家乡多苦百姓、苦亲戚，正好将此银子行些方便，亦一乐也。”他要求叔父从中拿出一些银两办所学堂，期望为家乡“造就几个人才”。
