1959年，在廬山上開了一次大會，彭總也去參加了，誰也沒想到他的秉公直言被一些人扭曲，在錯誤的引導下大會展開了對彭總的批評，在大會上彭總被扣上了反這反那的“帽子”。

從廬山上返回北京的時候，竟然沒人願意跟彭總同坐一架飛機，擔心受牽連，只有老部下張愛萍不顧受連累，跟彭總一同乘機回京，回到北京之後彭總的工作也難以開展，被免去了職務。

之後他索性在家種花養魚，這期間他也想過摘掉自己頭上的“帽子”，於是在1962年的時候寫信申訴，沒想到再次使自己遭到錯誤批評，乃至對其進行審查，被要求寫材料交代“問題”。

當時不僅彭總受到冷遇，就連他的妻子浦安修也受到了錯誤對待，在北京師範大學的浦安修受其影響無法正常工作，一些人甚至勸說浦安修與彭總“劃清界限”，浦安修受到了巨大的精神壓力。

後來承受不了壓力，浦安修決定與彭總離婚，沒想到離婚報告提交上去之後，上面表示這是家務事，不歸他們管，組織沒有批准也沒有否定，之後浦安修找到了彭總的侄女彭梅魁，讓其轉達給彭總。

在1962年10月的一天，浦安修在彭總的住處兩人分吃了一個梨子，表示“離婚”，此後彭總一個人獨自承受著痛苦，一直到1965年彭總的處境才稍微好一點，他被派往四川擔任“三線”建設的第三副主任。

好在“三線”的主要幾個領導都是彭總的老部下，在吃住行方面給他做了很好的安排，這期間彭總為“三線”建設作出了自己的貢獻，可是到了後來那個特殊的時期，彭總再次受到審查對待。

彭總甚至還被拉到大會場上去公開批評，他被看管在北京

衛戍

區裡面，在這樣的環境下彭總身體越來越差，還患有直腸癌，戎馬半生的傷病逐漸復發，彭總每天都遭受著病痛的折磨。

後來由於直腸癌病重，彭總被送到了301醫院監管治療，他被安排在一間溼冷的病房，屋子裡面的窗戶都用紙糊了起來，為的是不讓外面看見裡面，這樣一來屋子裡照不進了一點陽光。

彭總被限制活動，他只能在床上躺著，他要求護士把窗戶上的紙撕開一些，讓陽光照進來，沒想到這個小小的要求也被拒絕了，到了1974年夏，此時的彭總病得更嚴重，已經無法坐起來。

最終在1974年11月29日，彭總病逝了，享年76歲，沒有辦理追悼會，直到1978年，彭總的問題才得以撥亂反正，彭總恢復了名譽，1996年，經過組織批准，他的骨灰送回湖南故鄉安葬。