司马迁大约在10岁左右随同父亲来到都城长安。长安一片繁华景象，金碧辉煌的建筑星罗棋布，街道上人来人往熙熙攘攘，各种叫卖声此起彼伏……小司马迁对这一切都充满了好奇和向往，孩童天然的贪玩之心也使他对一些游艺场所跃跃欲试，但是在父亲严格的督促和教诲下，他排除了一切外来诱惑的干扰，一心一意地学习。
长安人才云集，这就为他拜访名师求学提供了极为便利的条件。当时，今文学派的经学大师是著名的董仲舒，这个人专门研究孔子的《春秋》一书，提出了许多维护封建专制制度的理论，很推崇孔子，对孔子的学说作了许多新的解释，为当时政治服务，在当时的学术界地位很高，汉武帝很欣赏他。司马迁是否曾拜董仲舒为师，史书上未有详细记载，但董仲舒的《春秋》学说对青年司马迁有很大的影响则是事实。后来司马迁效法孔子作《春秋》而作《史记》，便同他青年时期所受到的这种影响有关。
司马迁拜孔安国博士学习古文《尚书》，见于《汉书·儒林传》的记载。孔安国是鲁都曲阜人，字子国，孔子第十二世孙，武帝时官为谏议大夫，临淮太守，当时古文学派的经学大师，为古文《尚书》作过注释，称《尚书孔安国传》，这部书后来失传了。司马迁作《史记》时引用《尚书》中的《尧典》、《禹贡》、《洪范》、《微子》、《金滕》等篇的史料，便是采用孔安国所注释的古文《尚书》的说法。
西汉时期经学上的今文学派和古文学派，各有自己的长处和短处。司马迁兼学今文学派与古文学派两位大师董仲舒、孔安国的《春秋》学说和《尚书》学说，取其所长，这使他在青年时代便汲取了当时学术上的精华，从而丰富了自己的学术思想，为初步形成自己的学术体系打下了坚实的基础。勤奋刻苦的司马迁，在良师的指导下，学识越来越广博，成为远近闻名的才子。他深厚的学术功底，使他具备了入仕的条件，更使他成了一个年轻博学的人才。
在长安拜师求学的10年间，司马迁除了接受董仲舒和孔安国的学说外，又读了大量其他的经书和其他先秦典籍。他父亲任太史令，为他阅读各种书籍提供了极大的方便。后来他写作《史记》时所需的基础知识，便是在这10年间所学得的。
司马迁在长安求学的10年，正是汉武帝的“文治武功”大放异彩的10年：
公元前121年，司马迁15岁。这一年，青年将军霍去病大败匈奴，在河西走廊设立了武威、张掖、酒泉、敦煌4郡。
公元前120年，司马迁16岁。这一年，汉武帝开始设立乐府，由大文学家司马相如作词，大音乐家李延年制谱并领导演奏。
公元前119年，司马迁17岁。这一年，卫青、霍去病率领几十万大军，北击匈奴并取得了决定性的胜利，彻底消除了西汉建国以来匈奴对北部边防的威胁。这一年，张骞奉命第二次出使西域并获得成功，西汉王朝同西域各国在政治、经济和文化方面建立了密切的友好往来关系。
事实表明，司马迁的青少年时代，正是汉武帝盛世的巅峰时期。汉帝国经济文化上的繁荣和汉武帝的文治武功，给青年司马迁的感受之深是可以想见的。司马迁正是在这样一个千载难逢、得天独厚的时代里，从前辈那里接受了渊博的知识；而汉帝国的昌盛繁荣又陶冶了他的性情，使他树立起了报效时代的伟大理想。总之，名师受业和这个伟大的时代，为他成为伟大的史学家并写出不朽的《史记》，提供了必不可少的条件。
