司马光出生在光州，但是他的原籍却不在光州，而是在陕州夏县（今山西夏县）涑水乡司马村。司马村是涑水乡西部一个小村屯，可能是因为姓司马的人在村里多而得名吧。这里山清水秀，一条清澈的涑水从村前流过，也正因为这条涑水而使这个乡称为涑水乡。
涑水是光州的大河流，它发源于山西南部的中条山中段的横岭山干洞中，清清的泉水从干洞流出，流过这里的石灰岩地层后不久就钻入地层下面，在进入绛县（今山西绛县）境内形成一条地下河。而它在喜县（今河南安邑县）境内又出现在地面上，然后流进了夏县（今山西夏县），在夏县西南流向安邑（今山西喜县），并奔向黄河。涑水是夏县境内的最大河流，河水清澈，日夜川流不息。涑水不仅灌溉着夏县的土地，也滋润着夏县的文化。司马光虽然出生在光州，但他的自身和文化渊源还是在夏县，或者更确切地说是在涑水乡的司马村。也正是涑水这条美丽的河流，哺育了司马光这位伟大的政治家和史学家。
司马光出生时，虽然他的父亲司马池正担任光州光山县令，但司马池对子女的家教很严，对子女并不溺爱，从小就注意从多方面进行严格的教育，使司马光从小就养成了诚实、节俭和刻苦学习的良好习惯。
司马光小时候就不喜欢华丽奢侈，大人每每给他穿上华美的衣裳，或者戴上金银一类的饰品，他就会满脸通红，羞愧难当，继而弃之不顾。司马光这种好俭朴的习惯，在少年时就已经养成了，而后来一直贯穿着他的一生。他的俭朴习惯大概与司马氏家风有着直接关系。即使父亲司马池做了知州，司马氏家中其他成员也在农村，过着一般人的生活。后来司马池做了大官，但家风始终没有改变。后来司马光回忆说：“我记得在天圣（宋仁宗的年号）初，光公（他的父亲）为郡牧判官，来了客人没有不置酒的，但也只是三行、五行，多不过七行。酒都是从市场买来的，果也只是梨、栗、枣、柿之类，肴也只是脯醢、菜羹。器皿用瓷的。”俭朴家风影响着司马光，后来随着年龄的增长，阅历的加深，司马光出自美德的本性，对俭朴的认识也渐渐地升华了。
在少年司马光的美好品德中，除了俭朴之外，还有诚实。诚实也是司马光的突出的美德，这无疑也与家庭教育分不开。在司马光6岁时，著名的青核桃事件就在这一年发生。它在司马光的成长历程中是一个标志性的事件，对他日后诚实守信品格的形成，有着非同寻常的意义。
一次，有人从家乡夏县捎了一些青核桃给他们。青核桃去皮是需要一些技巧的，如果只是一味硬剥，很难成功。司马光的姐姐就想要这么做，结果下了很大工夫，效果不好。姐姐走后，一仆人把青核桃放进开水里烫了一会，再拿出来的时候，去皮变得非常容易。等姐姐想了一圈办法又折回来，司马光已经在吃着核桃仁了。
姐姐非常惊讶，问：“是谁这么聪明呀？”
司马光随口说：“看不出来吧？是我呀。”
这件事情正好被父亲司马池全部看到，他大声呵斥司马光：“小子何得谩语！”——小孩子怎么能胡说八道！
这件事虽然很小，但给司马光留下很深刻的印象。从此，无论是为人处世还是学习知识，他总是十分诚实，不敢有半点虚假。在中国典型的严父慈母的教育和影响下，司马光度过了自己的少年时代，他的性格及人品慢慢地定型，形成了襟怀坦荡、忠诚老实的个性。他长大成人后，为了表示一辈子做个诚实人的决心，把自己的字起为“君实”。
从六岁起，父兄开始教司马光读书，起初，他对所学的东西不能理解，背书也记不住。父亲知道了，就告诉他：读书不能只是背，要多想，把意思弄懂。于是，别人在玩耍时，他不去，一个人找个清静的地方苦读，直到把书背得滚瓜烂熟为止。很快，他的学业进步了。对学习的兴趣也越来越浓厚，总是书不离手，句不离口。司马光的史学天赋，在这时已有表现。大约七岁的时候，他听人讲《左传》，就能领会大致意思。回到家里以后，他又转手把听过的故事讲给家人听，并可能因此获得了夸奖。从此，司马光对史书产生了浓厚的兴趣，以至爱不释手，对于口渴肚子饿，以及寒冷溽热、季节变化这一类事情，都浑然不觉了。
当时安丰县有一天才少年，很有名气，他姓丁。这个少年不仅记忆力超群，过目成诵，而且文章也写得相当精彩。这类智商极高的少年，很是让人羡慕，当时司马光的父兄对司马光的期望就是，将来能像丁少年那样。但是丁少年后来仕途不顺，很大年纪了才做到县令，而同辈甚至年纪更轻的后生，在职务上早已超过了他。人的命运是由多方面的因素，诸如性格、机遇、天时、地利等等综合决定的，并非仅仅是智商高低或者才气大小那么简单。
少年司马光不仅诚实，他还是一个勇敢有胆识的好孩子。一天，风和日丽，花繁叶茂，当时司马光正和很多小朋友一起玩耍，院里有一口大缸，里边蓄满了水。可能用于防火，着火的时候用缸里的水去浇；或者相当于蓄水池，仅为灌溉花卉树木；也或者两者都有。不知道他们在玩什么，这时有个小孩爬到缸沿上，一不小心失足掉进了缸里，缸大水深，眼看那孩子快要没顶了，孩子们都吓坏了，四散逃去，有的则跑到外面向大人求救。司马光却没有惊慌，他急中生智迅速找到一块大石头，端起来，然后狠狠地向那口大缸砸去。缸破了一个大洞，水从那个大洞奔涌而出，掉进大缸的小孩子因此而得救。小司马光遇事沉着冷静，从小就是一副小大人模样，当时的东京汴梁和西京洛阳一带，有人把这件事绘成图画，取名《小儿击瓮图》，风行一时，流传甚广。
到了十二三岁年纪，司马光对书中的义理，渐渐有了自己的理解。在学习上不只是死记硬背，更能开动脑筋，勤于思考，坚持了“朝诵之，夕思之”的诵读与理解并重的方法。司马光从勤读善思中产生了学习的癖好，这在他后来的一首诗中写道：
圣贤述事业，
细大无不实。
高出万古表，
远穷四海端。
于中苟待趣，
自可忘寝餐。
又过了两年，司马光已经十五岁。现在，他对书无所不通，文章也写得不错：“文词醇深，有西汉风”。这可能是他特别喜欢《左传》，并有意无意间模仿了它的缘故。
司马光后来表现出来的渊博学识，来自惊人的刻苦努力。他睡觉用的枕头是一段圆木，叫“警枕”。圆木容易动，使人睡不稳，只要圆木一动，司马光就惊醒了，他立即起床挑灯夜读。正是这种精神，使司马光从小就博览群书、学识超群。
司马光十五岁时，按照大宋的有关规章制度，他面临着一个机会：根据司马池的官职级别，朝廷允许他的两个后代进入仕途。但司马光把属于他的那个名额，让给了他的一位堂兄。这并不完全是谦让，司马光可能对自己的才学相当有把握，而且，官场上对恩荫为官的人存在歧视，通过恩荫进入仕途，可能会使他感到某种缺憾。司马光没有享受这次“任子”的权力，由此看出少年司马光对于地位和荣禄表现出很淡薄的态度。后来又有个机会，司马光终于接受下来，职务是郊社斋郎。
从幼年到少年，司马光的家庭环境是很美满的，而且教育与培养也都很理想，所以，司马光的成长也很顺利，无论是品德还是学识，在当时的同龄人中都是很突出的。也正因为这样，当时很多人都称赞司马光，并且有长辈，也有学者。庞籍，字醇之，单州（今山东省单县）成武（今山东省成武县）人。是司马池的好朋友，二人志同道合，出处如一，相互看到对方的优点，彼此欣赏和敬重。他又是司马池的顶头上司，他们多年共事非常知心，平日经常到司马池家做客。每当这个时候，司马池常常让司马光出来作陪。在作陪中司马光对庞籍的尊敬和礼貌给他留下很好的印象，因此非常喜爱少年司马光。庞籍每次见到司马光都抚摸着他的小脑瓜，拉着他的手，亲近的心情溢于言表。
还有另一位长辈张存，字诚之，冀州（今河北省冀州市）人氏，进士出身。后来任侍御史，任上曾成功说服仁宗皇帝改变一项错误的决定。也是司马池的好友，对司马光也非常喜欢，后来就把自己的女儿许配给司马光了，这种关爱心情可见是不一般，司马光对这些长辈的爱戴都终生不忘。
司马光的父亲在司马光稍稍长大一些以后，又让他广交师友。大约在司马光十五岁那一年，少年司马光到华州（今陕西华县）去拜访当时的著名唐史学者孙之翰，从此结下师生友谊。孙之翰对自己的著作极为珍惜，他把手稿单独存于一容器，每次打开之前，都要先洗手。曾跟家里人交代，万一遇水灾、火灾，或者打仗、有人打劫等等紧急情况，其他财物都可以放弃，但这部手稿一定要保全。一有空，他就取出来增删修改。孙之翰死后，他的侄儿孙察把孙之翰生前所写的唐史书稿又抄录给司马光，可见司马光与孙之翰师生情谊之深厚。
除了交结师友之外，司马光还经常跟随父亲司马池去外地领略祖国的壮丽山河，以此来陶冶情操。宋仁宗天圣九年（1031年），司马池任利州（今四川广元县）路转运使，一次，司马池带着司马光到利州的古刹名寺去参拜。还有一次，司马池带着司马光拜见当地名人鲜于，还把司马光所写的诗镌刻在石壁上，这些都给少年司马光留下非常美好的记忆。由于良好的教育和优越的环境，使司马光的成长非常顺利，思想和品德日趋成熟，从此也奠定了他以后的人生道路。
