衛律知道蘇武終究不願意投降，報告了單于。單于越發想使蘇武投降，就把他囚禁起來，放在大地窖裡面，不給他吃的和喝的。天下雪，蘇武臥著嚼雪，同氈毛一起吞下充飢，幾日不死。匈奴人認為這很神奇，就把蘇武流放到北海邊沒有人的地方，讓他放牧公羊，說等到公羊產了仔才能歸漢。同時把他的部下及其隨從人員分別安置到別的地方。蘇武被流放到北海後，因為糧食運不到，所以只能掘取野鼠所儲藏的野生果實來吃。他拄著漢朝皇帝賜予使臣的旄(máo)節牧羊，無論是睡覺、還是走路都拿著，以至於系在節仗上的節旄都全部掉落了。
