却说武帝元狩三年秋，匈奴伊稚斜单于起兵复仇，分为两路，每路各有胡骑数万，攻入右北平、定襄两处，杀掠人民千余人而去。单于得胜回国，料想汉兵必定来攻，遂与赵信计议。
赵信兵败降胡，单于因其在汉年久，熟知中国情形，甚加宠任，封之为自次王，以其姐嫁之，又筑城使之居住。赵信便教单于度过沙漠迁居北方，勿近边塞引诱汉兵深入，乘其疲困击之，必能取胜。单于听从其计，便将人畜悉数移至漠北居住。武帝闻单于移居之计，便召卫青、霍去病等议道：“赵信为单于设计北迁，以为我兵不能远度沙漠。我今大发士卒多备粮食，剿灭匈奴在此一举。”元狩四年春，武帝乃命大将军卫青、骠骑将军霍去病，各率马兵五万、步兵数十万、公私之马十四万匹，分道前进。武帝见霍去病胆略过于卫青，便选取敢战深入之兵给霍去病，命霍去病兵出代郡，卫青兵出定襄，约期度过沙漠共击匈奴。二将所领人马数目相同，惟霍去病部下却无裨将，遂用李广之子李敢等为大校，以当裨将。李广见武帝大举伐胡，却不命其为将，心中不悦，遂自向武帝请行。武帝道：“将军年纪已老，不可再临战阵。”李广一再固请，武帝沉吟良久方才应允，遂拜李广为前将军，与左将军公孙贺、右将军赵食其、后将军曹襄俱属于大将军卫青。卫青与霍去病领命，带同将士择定吉期出发。
卫青兵由定襄出塞，于路捕获胡人问明单于所在，自率大军兼程前进。却命李广与赵食其合兵取道东行，约期会合。
李广心想，东行路势弯曲多需时日，且沿途水草甚少，不能供给大队人马，且须分作数队缓缓而行，此明是大将军不欲我立大功，所以使我行此远路，于是对卫青说：“臣所部系前将军，当为先锋击敌。今大将军乃调臣使出东路，不知何意？且臣束发从戎即与匈奴交战，直至今日，臣愿率领所部效死前敌。”卫青闻言不允其请。李广便固辞不愿东行，卫青见李广违令，乃用强制手段命其遵令。李广心中愤怒，也不向卫青告辞，奋然走出，回到自己军营，会合赵食其领兵就道。
说起卫青与李广，平日并无仇怨，此次为何不令其为前部呢？只因临行之际武帝曾密嘱道：“李广年老命蹇。毋使独当单于，恐被单于逃走，不得成擒。”卫青既受武帝密嘱，自己又与公孙敖至好，公孙敖因前次出师误了军期，失去侯爵，现在军中为校尉，卫青意欲提拔他立功复爵，故调开李广，以公孙敖代为前部。李广不知武帝有此言语，只知卫青欲将公孙敖代己立功，因此愤愤不平。卫青打发李广去
。。