回到大将军幕府，李广对他的部下说：“我从年轻时起与匈奴作战，大大小小经历了七十多次战斗，现在有幸跟随大将军出战，直接对阵单于，可是大将军又把我的部队调开，去走迂回遥远的路，部队偏又迷了路，难道不是天意吗！况且我六十多岁了，终究不能忍受那些舞文弄墨的刀笔吏的侮辱了。”于是就拔刀自刎了。李广所部全军都哭了，老百姓听到这消息，不论是认识他的还是不认识他的，年老的还是年轻的，都为他流泪。而右将军赵食其单独被移送法官审理，本应处以死刑，却出钱赎罪降为平民。
李广有三个儿子，名叫李当户、李椒、李敢，都担任郎官。有一次，汉武帝和宠臣韩嫣戏耍，韩嫣稍有失礼，李当户便打了韩嫣，韩嫣逃走。因此汉武帝认为李当户勇敢。李当户很早就死了，武帝封李椒为代郡太守，都先于李广死去。李当户有个遗腹子李陵。李广死于军中时，李敢正跟随骠骑将军霍去病。李广死的第二年，李蔡身为丞相却侵占了汉景帝陵园前大道两边的空地，罪当惩办，李蔡不愿去受审，也自杀了，封国被废除。李敢以校尉的身份跟随骠骑将军攻打匈奴的左贤王，奋力作战，夺得了左贤王的战鼓和帅旗，斩杀了很多敌人首级，被封关内侯，食邑两百家，接替李广做了郎中令。不久，李敢怨恨大将军卫青致使他父亲含恨而死，便打伤了大将军，大将军包容了这件事。过了不多久，李敢侍从汉武帝到雍县去打猎。骠骑将军霍去病和卫青有亲戚关系，射杀了李敢。霍去病当时正是显贵又受武帝宠信，武帝隐瞒了真相，故意说李敢是被鹿撞死的。过了一年多，霍去病也死了。李敢有个女儿是太子的侍妾，深受太子的宠爱，李敢的儿子李禹也受到太子的宠爱，但他很贪利，李家的门第声望也就日益衰落了。