而在此期间，由于李夫人早卒，李氏家族也渐渐失去去汉武帝刘彻的宠信。偏偏这个时候，李家最小的孩子李季的事情却爆雷啦！原来在很久之前，自李夫人得宠后，李延年的弟弟李季就以所谓美男子外加新权贵的形象，开始和宫中的一些宫女们淫乱，而他日常出入宫里宫外也变得逐渐骄横跋扈起来。后来随着刘从戎与吕幼兰等人开始整顿宫闱，这家伙老实消停了一段时间。但没过几年，刘从戎自己因为李蔡一事差点儿和汉武帝刘彻闹翻了脸，自辞了所有的职务。而这时王太后也去世了，李季这家伙得此良机，又故伎重演反而变本加厉起来。俗话说得好，若想人不知，除非己莫为。巫蛊之祸后汉武帝刘彻猛醒过来，恢复了刘从戎的一切职务。在一系列调查后，李季这家伙以“奸”乱后宫的事情也水落石出。刘从戎晓得此事非同小可，就赶紧向汉武帝刘彻做了汇报。这位皇帝陛下得知后勃然大怒，又联想到以前的许多往事，感觉到是李氏兄弟联手做套获取自家的荣华富贵。这下汉武帝刘彻可真不干了，立马下诏诛灭李延年和李季兄弟的宗族。像汉武帝刘彻这样的人，是万万容不得别人欺骗自己利用自己的，可偏偏李家人就犯了这样的错误。原来李夫人的二哥李延年一直想打破家族的限制，他想让李家更上一层楼。而那个时代最好的上位最好的方法便是得到皇上的垂青。他们家无人有经天纬地之才，但是他的妹妹却是貌美如花。
如果让汉武帝刘彻这位皇帝陛下看上李夫人，那么他的目的就达到了。所以，李延年就开始了前期的包装。他训练自己的妹妹歌舞音律，甚至为了身材在没发育的时候就开始束腰。也就是因为长期的束缚，对李夫人的身体产生了很大的影响，尤其在生育方面。自然，这也就是前面提到的李夫人生产不久便去世的原因，当然啦，李延年的这一切努力果然没有白费，在妹妹成人之后。李延年通过平阳公主把妹妹引入了汉武帝的世界，从而入了皇家。后面的事情，大家都知道了在这里就不多说啦。所以，就这件事本身而言，彻头彻尾是针对汉武帝的一个圈套。而李夫人本人，其实就是一个假美人。就像现在，你好不容易娶了一个漂亮老婆，到头来才发现这个漂亮原来都是整出来的，换谁怕都接受不了。更何况是在古代，李延年的种种做法，说白了就相当于整容了。因此，作为皇帝的刘彻之前有多爱李夫人，知道真相后也就有多生气啦。而把这所有的一切加起来，说李氏兄弟是欺君也不为过。只不过汉武帝是个好面子的人，所以他想要泄愤就需要找一个借口找一个对象。很不幸，李季就成了那个突破口，李家也因此承受了来自这位帝王心中淤积了多年的怒火。一番折腾下来，当时李家兄弟除了李广利因为正在外领兵与匈奴人作战未受牵连之外，其余的统统团灭。而此时随着调查的深入，李广利与刘屈髦勾搭连环的事情也被抖搂了出来。
此时的李广利原本打算乘势冒进立功赎罪，却不想遭此大败，心情自然更加沉重起来，又忧虑着家中老少的生命安全，而且本来指挥才能就平庸，根本不具备像刘从戎、卫青、霍去病等人那样的才华，因此完全失去了两军对垒中最必要的警觉。匈奴人于是趁汉军不备，于夜间在汉军营前悄悄挖掘了一条濠沟，足足有几尺深。而后于清晨，突然从后面对汉军发起突然的袭击。汉军遭匈奴军袭击，想出营列阵抵敌，却发现军营前有一条深沟进退不得，即刻见军心大乱丧失斗志，再加上疲劳完全失去了抵抗力，很快就遭到惨败。可怜七万汉家好儿郎，就这样全部丧送在李广利手中，给国家民族造成极大的损失。李广利在兵败以后，竟然投降匈奴人。当时匈奴的狐鹿姑单于知道他在大汉身居高位，便将女儿嫁给李广利，对他的尊宠超过了卫律。按当时的汉律，李广利在大汉被囚禁的妻儿家人，在这家伙投降后悉数被杀，于是李氏一家族灭。而李广利投降匈奴虽换来一时的富贵，但也好景不长。卫律本是匈奴人，生长在汉朝，并在朝廷作官与李广利兄弟交情颇好。因此李延年曾在汉武帝面前举荐卫律，这位皇帝陛下这才命令卫律出使匈奴。李延年因李季之事伏法，卫律怕被株连，便悄悄从长安城跑了出来投靠了匈奴人。
卫律见李广利投降在自己之后，而受到的尊宠却在自己之上，于是心生嫉妒欲加害李广利。李广利在投降匈奴人一年多后，在刘从戎和南宫公主等人的策划推动下，卫律趁狐鹿姑单于母亲生病，遂买通巫师让其谎称病因是由于去世的几位匈奴单于在发怒。因去世的单于过去出兵攻伐汉时，曾发誓一定要捉住贰师将军李广利用来祭神，而今李广利已在匈奴，为何不杀了祭神？先单于正发怒责问此事。狐鹿姑单于对巫师的话信以为真，便将李广利杀掉用以祭神。李广利原以为用屈膝投降可以换一条命，屈辱偷生苟安于世，没想到结果却遭到如此可悲可耻的下场。李广利临被杀时，怒骂道“我死必灭匈奴！”李广利死后，匈奴境内接连数月雨雪不断，家畜死亡，百姓疫病不断，种植的黍穄也歉收。狐鹿姑单于害怕了，于是为李广利立了祭祀用的祠堂以慰亡灵。对于李广利这个人，在历史上对其评价着实不高。西汉时期以撰写《战国策》闻名的刘向曾经说过：“贰师将军李广利，捐五万之师，靡亿万之费，经四年之劳，而仅获骏马三十匹，虽斩宛王母寡之首，犹不足以复费，其私罪恶甚多；孝武以为万里征伐，不录其过，遂封拜两侯、三卿、二千石百有余人。”而唐李世民手下名将侯君集也曾经说过：“命将出师，主于克敌，苟能克敌，虽贪可赏；若其败绩，虽廉可诛。是以汉之李广利、陈汤，晋之王濬，隋之韩擒虎，皆负罪谴，人主以其有功，咸受封赏。”