而御史大夫儿宽恰好很懂得经学，汉武帝便命令儿宽去与众博士商议修改历法等事情。同年，汉武帝刘彻又命令公孙卿、壶遂、司马迁、侍郎尊、大典星射姓等人讨论定制《汉历》。天汉二年（前99年），汉武帝刘彻打算让李陵为出酒泉击匈奴右贤王的贰师将军李广利护送辎重。李陵谢绝，并自请步兵五千涉单于庭以寡击众。汉武帝刘彻赞赏李陵的勇气，随后就答应了他。然而，后来在李陵行至浚稽山时，却遭遇匈奴单于之兵的包围。而在李广利授意之下，汉将路博德援兵不到，匈奴之兵却越聚越多。在粮尽矢绝之后，李陵最终降敌。汉武帝刘彻因此愤怒，群臣也皆声讨李陵的罪过，唯有司马迁说李陵侍奉亲人孝敬，与士人有信，一向怀着报国之心。他只领了五千步兵，吸引了匈奴全部的力量，杀敌一万多，虽然战败降敌，其功可以抵过，我看李陵并非真心降敌，他是活下来想找机会回报汉朝的。但没过不久，去迎接李陵的将军公孙敖无功而还，谎报李陵为匈奴练兵以期反击汉朝。汉武帝听到公孙敖的报告后，便杀了李陵全家。而司马迁也以“欲沮贰师，为陵游说”的缘故，被定为诬罔罪名。诬罔之罪为大不敬之罪，按律当斩。司马迁认为面对大辟之刑，慕义而死，虽名节可保，然书未成名未立，这一死如九牛亡一毛，与蝼蚁之死无异。
由此，他联想到文王拘于囚室而推演《周易》，仲尼困厄之时著作《春秋》，屈原放逐才赋有《离骚》，左丘失明乃有《国语》，孙膑遭膑脚之刑后修兵法，吕不韦被贬蜀地才有《吕氏春秋》传世，韩非被囚秦国作《说难》和《孤愤》，《诗》三百篇，大概都是贤士圣人发泄愤懑而作。最终在那个“臧获婢妾犹能引决”的时代，司马迁毅然选择了以腐刑赎身死。腐刑是个大辱，污及先人，见笑亲友。司马迁在狱中，又备受凌辱，“交手足，受木索，暴肌肤，受榜棰，幽于圜墙之中，当此之时，见狱吏则头抢地，视徒隶则心惕息。”（司马迁《报任安书》）几乎断送了性命。他本想一死，但想到自己多年搜集资料，要写部有关历史书的夙愿，因此为了完成《史记》的写作，忍辱负重希望出现一线转机。至此，司马迁背负着父亲穷尽一生也未能完成的理想，面对极刑而无怯色。在坚忍与屈辱中，完成那个属于自己的使命。太始元年（前96年）汉武帝改元大赦天下。这时司马迁50岁，出狱后当了中书令，在别人看来，也许是“尊宠任职”，但是，他还是专心致志写他的《史记》。司马迁从元封三年(前108年)为太史令后开始阅读、整理史料，准备写作，到太始四年(公元前91年)基本完成全部写作计划，共经过十六年。这是他用一生的精力、艰苦的劳动，并忍受了肉体上和精神上的巨大痛苦，拿整个生命写成的一部永远闪耀着光辉的伟大著作《史记》。
《史记》是中国第一部纪传体通史。全书一共包括十二“本纪”，三十“世家”，七十“列传”，十“表”，八“书”，共五个部分，约五十二万六千多字。记述了从传说中的黄帝至汉武帝太初年间上下三千年的历史。它同时也是一部文学名著，是中国传记文学的开创性著作。它主体部分是本纪、世家和列传，其中列传是全书精华。司马迁所著的《史记》对后世的影响极为巨大，被称为“实录、信史”，被鲁迅先生誉为“史家之绝唱，无韵之离骚”，列为“前四史”之首，与《资治通鉴》并称为“史学双璧”。该书记载了从上古传说中的黄帝时期，到汉武帝元狩元年，长达3000多年的历史，为“二十六史”之首。在《史记》中，司马迁借老子之口说出了被他改造过和发展了的至治理想。保留了道法自然的内核，有意识地剔除了反映原始社会“小国寡人”和奴隶社会“使民”如何的思想，体现了深得道家精髓的“与时迁移”思想。其核心是天道自然，要旨是人民的足欲。司马迁撰写《史记》，态度严谨认真，实录精神是其最大的特色。他写的每一个历史人物或历史事件，都经过了大量的调查研究，并对史实反复作了核对。司马迁早在20岁时，便离开首都长安遍踏名山大川，实地考察历史遗迹，了解到许多历史人物的逸闻轶事以及许多地方的民情风俗和经济生活，开扩了眼界，扩大了胸襟。汉朝的历史学家班固说，司马迁“其文直，其事核，不虚美，不隐恶，故谓之实录”。
也就是说，他的文章公正，史实可靠，不空讲好话，不隐瞒坏事。这便高度评价了司马迁的科学态度和《史记》的记事翔实。司马迁要坚持“实录”精神，就必须面对现实、记录现实，这就不可避免地会发生“忌讳”的问题。可是他在给人物作传记时，并不为传统历史记载的成规所拘束，而是按照自己对历史事实的思想感情记录。从最高的皇帝到王侯贵族，到将相大臣，再到地方长官等等，司马迁当然不会抹杀他们神奇、光彩的一面，但突出的是揭露他们的腐朽、丑恶以及对人民的压迫。司马迁虽是汉武帝的臣子，但对于汉武帝的过失，他丝毫没有加以隐瞒，深刻揭露和批判了当时盛行的封禅祭祖、祈求神仙活动的虚妄。在《封禅书》中，他把汉武帝迷信神仙，千方百计祈求不死之药的荒谬无聊行为淋漓尽致地描绘了出来。本着实录的精神，司马迁在选取人物时，并不是根据其官职或社会地位，而是以其实际行为表现为标准。例如，他写了许多诸如游侠、商人、医生等下层人物的传记。在司马迁心目中，这些人都有可取之处。司马迁首创了以人载事，始终叙述一个人生平事迹的写法。着重写其“为人”，并注意其“为人”的复杂性，是司马迁的笔法。他在作传时，把自己的看法寓于客观的事实叙述之中，来表示自己对人物的爱憎态度。