宋太祖趙匡胤從登位形式上講，是“篡周而立”，是以手握重兵，進行宮廷政變取帝位的。這一點似乎與五代期間五國嬗變的情形相同。其實不然，趙匡胤奪帝位的目的不只是享榮華，貪富貴，為後代兒女創一份大大的產業，更重要的一面是當時周恭帝年齡太小，僅只七歲，“主少國疑。”在北有契丹、北漢，南有諸侯各國的嚴峻局勢下，他難以承擔起周世宗所開闢的事業的重任，不可能完成周世宗所要完成的一統南北的事業。

趙匡胤不僅在周世宗在世時，是為這一事業堅決努力、捨身而戰的中堅人物，而他登帝位後，又繼續執行周世宗的戰略政策，把統一南北國家作為自己最高的戰爭目標。所以出師西蜀獲勝後，他便在他生命的最後幾年進行收復江南的戰爭開寶七年（974年），趙匡胤詔令宋軍出兵征討江南。

九月，曹彬奉詔與李漢瓊等將先赴荊南準備渡江的戰船。潘美則率步兵隨後而進。十月，又任命曹彬為西南路行營馬步軍戰棹都部署，分兵由荊南順流而下，從東面攻擊江南李唐軍隊。曹彬率所部宋軍，先破南軍的峽口賽，再克南軍的池州（今安徽貴池）。之後，又揮師前進，連克當、蕪湖二縣，駐軍於釆石磯（今安徽馬鞍山西南）。十一月，曹彬命軍士造作浮樑（即浮橋），準備適時率所部軍隊跨過長江，接應整個宋軍。十二月，南軍來攻，曹彬帶軍破敵於白鷺州。

開寶八年（975年）二月，宋軍兵扎江淮。浮樑造成，宋軍兵渡長江，江南兵出兵抵抗，又被宋軍打敗，潰師於白鷺州。宋軍乘勝前進，攻克潤州（今江蘇鎮江），包圍了金陵（今江蘇南京）。宋軍分為三路人馬，分扎三大營寨於城下。南唐兵欲作最後抵抗，派兵偷襲宋營，曹彬令宋軍挖深溝以拒之。

唐後主李煜見大勢已去，遂派其臣徐鉉奉降表赴開封，謁見宋太祖，請求緩師。宋太祖不予理睬在包圍金陵之後，曹彬每令宋軍無須急攻其城，希望李煜投降歸服。這年十一月，曹彬又派人帶書信告諭李煺說：“今事勢如此，宋軍之所不急攻城者，為一城百姓著想。爾若能歸依宋朝，此乃上策也。”後金陵城快攻克時，曹彬忽然稱自己有病，不再過問軍務。於是諸將都來問訊其病情狀況，吃何藥可醫治等。曹彬對諸將說：“我的病是非藥石所能看好的。若諸公能在我這兒誠心立誓：克城之日，不妄殺一人，則吾病自愈矣。”

諸將聽後，方解其病因，於是許諾答應。曹彬聽言，焚香為誓。第二天，曹彬的病就好多了。第三天金陵城被攻破。南唐後主李煜帶臣僚百餘人到宋軍門請罪，曹彬對其安慰了一番，待之以賓禮。並請李煜進宮換裝，北赴汴京。這時曹彬只帶幾個軍兵在宮外等候。時曹彬左右人悄悄對彬說：“李煜入宮，萬一有不測，奈何？”曹彬笑著回答：“李煜素無決斷，既已降，必不會自絕矣。”片刻後，李煜換裝出。

眾皆服曹彬的遠見。這次宋軍南征，李煜君臣性命，全賴曹彬保全。而宋軍從出師到凱旋，將士也都很畏服他，沒有敢輕率犯法、妄殺之人。曹彬入見宋太祖，也只稱：“奉敕江南幹事回，”其他所謂大小軍功，概不提及。其謙恭不浮誇如是也初，宋軍兵伐江南之時，太祖謂曹彬說：“等你帶兵收復江南，收降李煜，當命卿為相。”

宋兵凱旋後，副帥潘美預先為曹彬慶賀這事。曹彬說：“不然，這次南征，全仗賴天威，依靠皇上的宏謀，方乃成其事，我有何功呢？何況使人去做相位之官，乃極品之事呀！”潘美不解其意，又問：“此話怎講？”曹彬說：“尚有太原未平，官何能極品？”及師還，太祖犒彬、美二帥，對曹彬說：“本欲令卿為相，然太原未平，姑且少作等待。”潘美在旁聽到此語，不由偷看曹彬而微笑。太祖見此狀，便追問所以。潘美不敢隱瞞，只得將那天與曹彬所對之語都講了出來。太祖聞言後，也大笑，他深知曹彬乃最瞭解他的思想抱負。於是賜錢曹彬，有二十萬。未過多久，拜曹彬為樞密使、檢校太尉，忠武軍節度使。