两年以后，李广率领四千名骑兵从右北平出击匈奴，而博望侯张骞则率领骑兵一万人与他一起出征，两军异路行进，速度不一。推进了几百里以后，李广所部孤军深入，被匈奴左贤王率领的四万骑兵包围，汉军十分恐慌。为了稳定军心，李广派他的儿子李敢向敌军出击。李敢与手下几十名骑兵直一插一入匈奴军中，横贯其左右两翼以后平安归来。李敢报告说，匈奴人很容易对付。这下，汉军士兵安了心。李广布下了环形阵势。匈奴人发动了猛攻，矢下如雨。汉军死亡过半，弓箭也快要用光了。于是，李广命令军中士兵拉满弓而不要发射震慑敌人，而他则亲自用大黄弓射杀了好几个匈奴的副将。此后，匈奴人才逐渐地散开、后退。时值黄昏，汉军士兵们都面无人色，可是李广却神态自若，把军队更好地重组起来。从此，汉军里都十分佩服李广的勇敢。第二天，汉军又奋力作战，此时，博望侯张骞的部队也赶到了，匈奴军队便解围撤走了。汉军也很疲劳，不能追击。李广的军队几乎全军覆没，于是，汉军撤回塞内。根据汉朝法律，博望侯因行军迟缓、延误军期应该被判处死刑，后来，他出钱赎罪，成为平民；李广则功过相抵，没有受到奖赏或处罚。
李广算命
起初，李广与他的堂弟李蔡一同侍奉孝文帝。景帝的时候，李蔡累积了功劳，做到了两千石级别的官吏。汉武帝时期，李蔡又官至代国的国相。元朔五年，李蔡被任命为轻车将军，跟随大将军卫青出击匈奴，斩杀敌人的首级达到了封侯受赏所规定的数目，被封为乐安侯。元狩二年，李蔡取代公孙弘出任丞相。李蔡的为人与才干比较低劣，名声远不及李广，可是，李广却得不到封爵和封地，做官也超不过九卿，而李蔡却被封侯，还位至三公。李广麾下的军官、士兵里甚至都有人因功被封侯，每次遇到被封侯的部下，李广都十分尴尬。这样的境遇就延续了许多年，让李广很是苦恼，也十分不解。
有一次，李广和星象家王朔私下里闲谈，他很郁闷地说：“自从我朝攻打匈奴以来，我参加了历次的大战。各部队校尉以下的军官，才能顶多算得上中等，但是却在与匈奴的作战中立下军功，因此被封为侯爵的竟然有几十人。我李广不比其他人差，但是却得不到任何军功，封不了侯，这是为什么呢？难道我命该如此吗？”王朔说：“将军可以回忆一下，您可否做过什么让自己抱憾终生的事情吗？”李广回答说：“我做陇西太守的时候，有一次，羌人造反。我设计诱降了八百多个造反者，并且在一天之内把他们全部处死了。直到今天，我仍然觉得这是件让我抱憾终生、分外后悔的事情。”王朔听后，向李广解释说：“杀害已经投降的人会给自己带来最大的灾祸，所以您的命运多难不顺啊，这就是您不能被封侯的原因。”
将军之死
元狩四年，李广以前将军的身份参加了汉匈之间的大决战，当时，他率部跟随大将军卫青出击。汉军从俘虏口中得知了单于驻扎的地点。于是，卫青决定亲率部队追击单于，命令李广的部队与右将军赵食其的军队合在一起，从东路迂回包抄单于的据点。东路路程有些绕远，而且大军在这个缺少水草的地方，只能采取不停歇的行进方式。因此，李广请求大将军说：“我的职务是前将军，而您却命令我从东路出征。我与匈奴交战很多年了，只是在现在才有一次攻击单于的机会。所以，我希望您让我打先锋，和单于决一死战。”
出征前，卫青私下里受到天子的告诫。天子认为李广曾先后五次率一精一兵参加反击匈奴的作战，应该说杀敌立功、晋爵封侯的机遇多多，可他不是无功而返，就是损师折将，根本没有表现出“飞将军”的风采。常言道：“一之为甚，其可再乎！”连续五次机会李广都不曾把握住，现在年纪又大了，所以，不希望他与单于交锋，担心李广的参战会让汉军达不到预期的战略目标。同时，卫青的好友公孙敖刚刚失去爵位，这次出征，他以中将军的身份跟随卫青。卫青自然想让公孙敖与自己一道进击单于，如果能立下战功就可以再次被封侯。由于以上两点原因，卫青调开了李广。李广得知事情的原因以后，坚决要求不与右将军合军，并向大将军辞免。卫青没有答应，让他执行命令。李广没有向卫青辞行，很不高兴地领命出发了。