自從匈奴被衛青和霍去病打敗後，雙方已經好幾年沒有戰鬥了。他們口頭上說他們想與漢朝和解，但實際上他們仍然想隨時入侵中原。匈奴單于一次又一次派遣使節來求和，但是一些漢朝使節去匈奴回訪，一些人既然被他們拘留了，漢朝也拘留了一些匈奴使者。公元前100年，漢武帝準備派兵抗擊匈奴，匈奴派使者去講和，把漢朝的所有使節都放了回去，為了響應匈奴的善意，漢武帝派遣中郎將蘇武和他的副手張勝，以及他的隨行人員常惠前往匈奴。

當蘇武抵達匈奴時，他送回了拘留的信使並贈送禮物。蘇武正在等單于寫封信讓他回去，沒想到這個時候會有壞事發生。在蘇武抵達匈奴之前，一個名叫衛律的漢族人在出使了匈奴任務後向匈奴投降。單于特別重用他，封了他為王。衛律有一個下屬叫餘常，他對衛律不滿意。他原來是蘇武的副手張勝的朋友，並秘密與張勝討論殺死衛律、劫持單于的母親並逃回中原。張勝表示同情，但他沒想到餘常的計劃沒有成功，反而被匈奴抓住了。單于勃然大怒，讓給衛律審問餘常，還要求把同夥找出來。

蘇武對此一無所知，這時，張勝直到害怕被牽連才告訴蘇武。蘇武說：事情已經到了這個地步，肯定會影響我，如果讓人在審問後死去，對朝廷來說豈不是更丟臉？說罷，拔出刀子自殺，張勝和他的隨行人員目光敏銳，從他手中接過刀，勸他停下來。餘常經常遭受各種懲罰，只承認他是張勝的朋友，和他談過話，並拒絕承認他是共謀的。衛律向單于報告，汗勃然大怒，想殺了蘇武。大臣勸阻了他。單于還叫衛律強迫蘇武投降。蘇武一聽到衛律要求他投降，就：“我是漢朝的使者。如果我違背了我的使命，就失去了我的正直，如果我活著還有什麼臉面做人。說完又拔出刀子要抹脖子。

衛律連忙抱住了他，蘇武的脖子已經嚴重受傷，昏了過去。衛律急忙呼救，他才慢慢醒來。單于認為蘇武是一個正直的人，非常欽佩他。蘇武的傷勢痊癒後，單于想強迫蘇武投降。單于派衛律審問餘常，並請蘇武聽。衛律把餘常殺死。然後他舉起劍威脅張勝，後者因害怕死亡而投降。衛律對蘇武說：你的副手有罪，你也是跟著有罪。蘇武說：我既不是他的同謀，也不是他的親戚，我為什麼是跟他一樣有罪？衛律再次舉起劍威脅蘇武，蘇武保持沉默。衛律忍不住放下他舉起的劍，勸蘇武說：我被迫向匈奴投降，我被單于視為王，給了我成千上萬的部下和羊群牛群，讓我享受財富和榮華富貴。先生如果你能向匈奴投降，明天你將和我一樣，你為什麼要白白獻出你的生命？

蘇武憤怒地站起來，說道：衛律你是一個漢族人的兒子，也是漢朝的諸侯，你忘恩負義，背叛了你的父母，背叛了朝廷，厚顏無恥地成為叛徒，你有什麼臉和我說話？我永遠不會投降。試圖強迫我是沒有用的。衛律向單于報告了這件事，單于把蘇武鎖在地窖裡，拒絕給他吃的和喝的，並試圖長期折磨他迫使他屈服。這時是冬天，外面有大雪和鵝毛。蘇武又餓又渴，拿了一把雪解渴。餓了，拉了一些皮帶和羊皮來減輕他的飢餓，幾天後，沒有被餓死。單于明白折磨他是沒有用的，他派他去北海（現在的貝加爾湖）看羊，和他的下屬分開，拒絕讓他們知道這個訊息。他又對蘇武說：除非公羊生了一隻羊，否則你都不會被釋放。