叔梁纥生孔子时，已是六七十岁的高龄了，孔子刚刚3岁，他便与世长辞了。尚值童年的孔子失去了父爱，他的母亲颜征在，带着年幼的儿子，离开了矛盾复杂的叔梁纥家，从陬邑迁到了曲阜城内一个叫阙里的地方定居了下来。
孤儿寡母的生活格外艰难清苦，但颜征在并没有被困难所吓倒。她是位极有见地的女子，虽然年轻丧夫，家道没落，日子过得很不顺心，但她仍旧勤苦持家，悉心教子，在儿子身上倾注了极大的希望。她常常利用各种机会对年幼的孔子加强教导，要他努力学习，刻苦磨练，以便将来有所作为。传说颜氏在孔子尚很幼小的时候，便常买来一些礼器给他作玩具，让儿子从小便习礼知礼。在慈母的严格教导和悉心培养下，孔子很小便表现出了他异于普通孩子的独特之处。他不像同龄儿童那样淘气顽皮，而是经常把祭祀时存放供品的方形、圆形的俎豆之类的礼器摆列开来，自己练习磕头、揖让等礼仪。可见，孔子的成长是与他小时候母亲的悉心教育分不开的。
家境的贫寒使孔子过早地尝到了人生的艰难。从懂事的时候起，他便帮着母亲做一些家务活；年纪稍大一些时，他迫于生计，不得不参加各种劳动，挑起了生活的重担。穷人的孩子早当家，生活的艰辛也使少年的孔子一点点儿成熟起来。很多年后，孔子回忆起这段时光时说：“吾少也贱，故多能鄙事。”意思是说，我小时候家境贫寒地位低下，所以学会了各种各样的劳动技能。这种经历对孔子的一生都有着深刻的影响，为他的成长提供了一个接受磨练的机会。孔子的一生，常常得益于这段“吾少也贱”的艰苦生活的磨炼。
少年的孔子便心怀大志，要使自己成为一个社会的栋梁之材。用他自己的话说，就是“吾十有五而志于学”。所以，尽管生活清苦、家境贫寒，他仍利用一切机会如饥似渴地寻求着知识。他白天干活，晚上回到家里刻苦攻读；他经常参加城内举行的各种大型的礼仪活动，在一旁细心地观察和揣摸；他勤奋刻苦，不耻下问，努力从生活中汲取文化和知识的营养。一有机会进入鲁国的太庙，总爱不停地问这问那。有人轻视地评价他说：“谁说陬叔纥的这个儿子懂礼呀？看他进了太庙，什么都问，他能懂什么呢？”孔子回答说：“不懂就问，这正是知礼的表现啊！”正是依靠这种好学不倦的精神和过人的毅力，孔子才掌握了越来越多的知识。
然而，过度的操劳和清苦的生活，大大损害了孔母颜氏的身体，使她才三十几岁便垮了下来。孔子16岁左右，他的母亲也撒手西去了。母亲的辞世使孔子成了一个真正的孤儿。日子更苦更艰难了，他不得不依靠自己的力量去独立谋生。现实逼迫他必须找到一种能挣钱糊口的工作，他先是为人当“委吏”，替别人管理仓库；后又为人作“乘田”，替别人管理牛羊。这些工作，都是当时的贵族子弟所不屑于做的“鄙事”，但孔子却把仓库理得清清楚楚，将牛羊管得肥肥壮壮，竭力做好自己份内的工作。一有闲暇，便更加刻苦勤奋地自学。所以，虽然他没有受过当时的正式教育，但还是以坚韧的毅力和刻苦的精神掌握了大量的知识，很快，便成为当地小有名气的人物。再加上孔子为人谦恭知礼，行事谨慎细心，年纪不大，便在当时的许多人心目中，包括一些贵族中留下了良好的印象。
母亲去世后不久，有一件事，对孔子造成了很大的刺激。
那是鲁昭公七年（公元前535年），鲁国的执政贵族季武子举办了一次大型的宴会，用来招待国内各地的士人们。士在当时是一个重要的社会阶层，包括大批贵族下层人物，也包括一些受过一定程度的教育，而且学有专长的优秀的平民子弟。季武子宴请士，一方面是为了讨好士阶层的人们，求得他们对自己的支持，以巩固自己的政治地位；另一方面，他也想趁机从中为自己选拔一些有用的人才。当时孔子丧母不久，孝服未除。他以为自己的父亲叔梁纥是陬邑的大夫，又立过战功，曾以“勇力闻于诸侯”，自己作为他的儿子，按出身也当属士这一阶层；再有他自幼受母家教，又刻苦好学，熟悉各种礼仪，也算是有用的人才。所以，听到消息后，他便欣然与人同往。
走到季武子家门口时，孔子被季武子的一个名叫阳虎的家臣拦在了门外。阳虎以傲慢的口气呵斥孔子道：
“季家宴请的是士，谁宴请你呢？”
孔子无奈，只好忍怒悄悄退了下来。阳虎这样做，无疑是对涉世未深的孔子的一种故意羞辱，也是对踌躇满志的少年孔子的一次打击。这件事，使孔子深切地认识到：父亲的身世并不能给自己增添荣耀，自己前面的路并不会一帆风顺，惟一的出路，只能凭自己的努力去闯荡和争取了。在这种强烈的刺激下，少年的孔子暗下决心，一定要以自己的努力进取去实现自己的宏伟志向，谋求一条能够真正济世救民的人生道路。
就这样，出身贫贱的少年孔子，在生活的困苦和磨难中成长起来，开始了对于人生道路的更加自觉的追求。
