據洪天貴福供詞，李秀成是這樣護洪天貴福出城的。李秀成帶著洪天貴福原先打算由太平門出去，見敵人太多，中途折回，走大南門聚寶門），因思南門外雨花臺是湘軍大營，於是又赴西門。這時在他們身畔已經聚合了一批親貴大臣，如洪仁發、洪仁達和兵部主官、尊王劉慶漢等，轉入西門，但在城樓上見城外一片水。

洪仁發見過不去，跳水自殺。這時，南門、東門城樓都出現了湘軍，劉慶漢建議上清涼山暫避。李秀成與洪天貴福等又來到城西的清涼山，這時在他們周圍已經聚集了一千多人，六七百匹馬，其中有重要大臣林紹璋、沈桂，有幼西王和洪氏子侄們。但沒有一個女眷。估計是彼此有約，突圍不帶女眷，因帶著女眷，行走不便。洪天貴福突圍時在天王府的四個幼娘娘，也都沒有帶上。

當時，蜂擁進城的各路湘軍，上至提督總兵，下至販夫走卒，都熱衷於抄掠王府、官衙，搶奪財物和女人，根本沒有想到清涼山上藏匿有李秀成、洪天貴福一行人眾。李秀成帶領眾人偃旗息鼓，望著山下大街小巷，湘軍追殺太平軍民、搶掠財物一片亂哄哄狀，命令眾人換了湘軍服色，俟頭更後，天色昏暗，下山向東尋路，由尊王劉慶漢在槍頭上繫了一塊白帶布引路，李秀成一馬當先，天貴福等人緊跟著白帶布行進，衝出幾乎已無人把守的太平門缺口。

李秀成憑多年豐富的作戰經驗，深知敵人突破的缺口處往往是防守最鬆懈的地方。他的選擇是對的。 湘軍陷城時，曾國莖原有規定每營兵員六成入城，四成留營，但眾人為了發旺財，幾都進城搶掠去了。曾國茶也難以阻止，但等到醒悟過來，李秀成、洪天貴福等極多人馬都過去了，只殺死了尾隨的幾十個人。沈桂真人不識時務，到處流竄，被流彈打死，洪仁達出城前在口時，遇到湘軍被誘擒。

曾國蕃奏報說洪仁達是因為見湘軍人少，逞勇追去，被捉拿了的。李秀成護洪天貴福等人順利地穿過了孝陵衛，取道南下，這時突圍隊伍仍有一千餘人，很多是天朝的親貴和高階官員，洪天貴福後來供詞說，有李秀成、劉慶漢、吉慶元和蕭有和等十四個有名號的王。還有很多天王新封的列王。列王如過江之鯽，據洪天貴福說，還有一千多個列王千歲未出天京城。

走出孝陵衛，隊伍人眾過於顯眼，李秀成把全隊分為兩隊，前隊由劉慶漢、吉慶元和許茂才、陳贊明、蕭三發等十幾個能征慣戰的王爺，衛護洪天貴福、幼西王以及洪仁發子洪和元等三百餘人先行，他和林紹璋等七百餘人殿後。曾國荃得知有突圍，調動馬隊追趕。李秀成未到淳化鎮因所騎系劣馬，缺乏腳力，中途沒有趕上大隊，就走散了。

7月21日，湘軍馬隊在淳化鎮捉住了掉隊的列王李萬材，經他指點，趕上後隊。後隊且走且戰，且戰且走，在湖熟大橋幾乎全軍覆沒，林紹璋戰死。湘軍以為是殲滅了突圍全部人馬，就回去了。爾後曾國藩向皇帝奏報，捏造了巨王洪和元、幼西王蕭有和等人被全行殺斃。洪天貴福和洪和元、蕭有和等因李秀成、林紹瓊等後隊掩護，擺脫了追兵，已到句容郭莊，過後經溧水、東壩，已無追軍，再走了三四天來到了太平天國在安徽尚存的一塊乾淨地廣德。

在突圍途中，李秀成非常注意護衛洪天貴福的安全。據時人記錄，當洪天貴福在郭莊夜宿時，有與他一樣打扮的十一個少年環坐一圈，不分彼此，令局外人難以分辨真偽，而護衛他的還有幾個彪形大漢，持刀緊跟，寸步不離。李秀成成功地組織了洪天貴福衝出天京重圍，可是他自己卻掉進了不可歸的陷阱。