军队各折了许多人马。汉兵远行辛苦，又兼交战一日筋疲力尽，倒头便睡。谁知单于密遣士卒，乘夜偷往汉军营前挖掘陷坑一道，深至数尺，一面拔起大队人马从汉营背后杀人。汉兵从睡梦中惊醒，手足无措四散逃生，众将保着李广利夺路走出营前，忽听得一声响亮，前行人马早已跌入陷坑。后面胡兵大队追至，李广利进退无路，只得率众投降。单于大获全胜，又得李广利心中甚喜，知他是汉朝大将天子外戚，与李陵、卫律身分不同，于是十分礼待以女嫁之。武帝听说李广利降了匈奴，即命将其妻子处斩。
李广利在匈奴年余，甚得单于信任，卫律见了顿生妒忌。心想以前单于遇事必来与我商议，一国之中除了单于惟我权力最大。自从他来之后单于改变心肠，尽将宠爱移到他身上，若不设法将他除去，何以保全我的地位？适值单于之母阏氏抱病，卫律心生一计，密嘱胡巫如此如此。胡巫依言即向单于说道：“先单于从前祭兵之时，曾说擒获贰师后将他祭社。今已得贰师何故不用？阏氏之病正是为此。”单于一向尊信神巫，于是将李广利杀死将尸祭社。李广利死前怒道：“我死之后定作厉鬼，灭此匈奴。”卫律见除了李广利，心中暗自称快。他也不记得从前与李延年何等交好，赖其向武帝荐引才得奉使匈奴。如今李延年家败人亡，只余其弟李广利一人投降匈奴，不加照看也就罢了；反要起意陷害致他于死地，也是可怕。
却说李广利死后，忽然天降大雪，一连数月，牲畜冻死不少，人民也遭疫病，所种之黍皆不成熟。单于记起李广利之言，以为是冤鬼作祟，心中恐惧，便替李广利立起祠堂，岁时祭祀。