玛利亚和安徒生的奶奶经过很久的商量，最后决定将安徒生送去毛纺厂当徒工。去毛纺厂当徒工的全是9岁至12岁的孩子，而且都是欧登塞最底层的穷苦人家的孩子。所谓毛纺厂只是一间低矮而肮脏的房子，窗户全被破布和硬纸片堵得严严实实，空气不能流通，人一进去便感到窒息；运转的机器发出的轰鸣声，震得人双耳发聋，人与人对面讲话也听不见声音。安徒生上工的第一天，正遇上监狱长把囚犯们派来干活儿，而他便成了这些小偷和流氓的下手。从不说脏话的安徒生，听见囚犯们不堪入耳的咒骂，羞得满脸通红。
工长和副工长是德国人，为了给老板多赚钱，他们几乎不让徒工有休息的时间。活儿太累，从未干过如此重活的安徒生一天干下来，双手和脊背痛得仿佛被折断了一般，机器的轰鸣声和沉闷的空气使他头晕眼花。
回到家，他就疲惫不堪地倒下了。然而，第二天还得去。有一次，在工间短暂休息时，安徒生突然唱起了歌，在歌声中，他暂时忘掉了痛苦和疲惫。他的歌声给劳累的工人们带来了欢乐。于是，在工长和副工长不在时，工人们便不让安徒生干活儿，让他一首接一首地唱歌。有时，他唱够了，便为工人们表演霍尔堡（丹麦剧作家）或莎士比亚的剧本，这同样获得工人们的好评。
不久，安徒生在唱歌时被工长和副工长发现了，两个德国佬便拿他开心。工长走上来，捏着安徒生的脸，对大家说：“我看他根本就不是男孩，是个乔装打扮的小丫头，不然，他的嗓子怎么会这么细呢？”
安徒生的脸被捏得很痛，他想挣开又挣不开，泪水掉了下来。他哀求说：“我不是小丫头。”
副工长哈哈大笑起来：“不是小丫头，怎么这么爱哭呢？等我脱了你的裤子，就知道你是不是小丫头了。”说完，他在大笑中扑向安徒生。安徒生好不容易才挣脱出来，一口气跑回家，对玛利亚哭诉了一切。
玛利亚流着泪，将儿子搂在怀里，同意他不去毛纺厂上班，转到烟草厂去。
烟草厂的人对安徒生很友善，都很同情他。但安徒生和他父亲一样，肺不好，在厂里干包装鼻烟的活儿，弄得他一刻不停地打喷嚏。几天下来，每当他在那个当床的长凳上睡下后，便不时地发出一阵阵致命的咳嗽。这咳嗽使玛利亚惊恐不安，于是，她带安徒生到一个熟悉的油漆匠那儿去当小工。
不巧，卡特琳娜的儿子也在油漆匠手下干活。他早就讨厌安徒生在众人面前唱歌、朗诵、表演什么的。这天趁下工，他约了几个小流氓，将安徒生逼到圣甘诺教堂的一棵大栗子树下，喊一声：“打这个编剧本的！”几个小流氓便向安徒生投掷石块、带刺的果壳和一团团脏东西，边投掷边兴高采烈地欢叫着。
回到家，玛利亚看见儿子肿起的眼睛和一块块青紫色的血斑，泪水涌了出来。她将安徒生抱在怀里，不停地说：“我可怜的儿子，这样下去，用不了多久，你就会被打成残废的。”为安徒生清洗了伤口后，她说：“这样吧，你还是去上慈善学校吧，那儿有教师照顾，没人敢欺负你的。”
于是，安徒生去了慈善学校。那是一所专为付不起学杂费的学龄儿童办的学校，很多人怕被人耻笑，不愿将自己的孩子送去那里。
安徒生在慈善学校里成绩很好，这使玛利亚很放心。就在这段日子里，年轻的鞋匠龚杰生向玛利亚求婚，玛利亚因考虑到自己和儿子也该有个依靠，便同意了。婚后，她带着安徒生离开了那间小房子，搬到龚杰生的家里。
安徒生对家里发生的变故采取漠然的态度。他虽然不喜欢龚杰生，但却不得不和母亲生活在一起。再说，他已找到自己喜欢做的事情了。
彼得·容凯尔在小偷事件以后销声匿迹了一阵子，现在又回到剧场工作了。在他的帮助下，安徒生有几次来到剧场后台，异常激动地观看了当时著名的歌剧《多瑙河少女》。回家后，他把看到的一切重演一遍，扮演剧里所有的人物，整个乐队由他自己一人担任。
因为彼得·容凯尔在剧院负责分发节目单，所以认识很多欧登塞的名人。于是，安徒生有机会跟着他去了普隆大主教和亲王的亲信古尔登堡上校的客厅。在这些大人物的客厅里，安徒生同样忍不住为他们唱歌、朗诵和表演莎士比亚的作品。
普隆大主教听了安徒生的歌唱和表演后，十分赞赏地对在场的人说：“这是一个多么有趣、多么动人的孩子啊！”
古尔登堡更是惊讶，他说：“你是一个普通鞋匠的儿子，却迷上了莎士比亚，多有意思呀……凭你那优美动听的歌喉、惊人的记忆力，你将来一定会成为有用人才的。”
这些大人物在赞扬了安徒生后，都少不了塞给他几个钱。安徒生沉浸在赞扬声中，感到无比自豪。于是，每到傍晚，他便去河边，坐在那块他最喜欢的石头上，长时间地放声歌唱。一些散步的绅士听见他的歌声，都停下来，颇有兴趣地倾听。
安徒生的这些表现引起了龚杰生的不满，龚杰生常和玛利亚发生争执：“你该管管你的儿子了，你看他那个样子，都快成疯子了。”
玛利亚说：“他是我的儿子，我知道该怎么办。”她把安徒生叫来，说：“孩子，你已经长大了，该懂得怎样过日子了，唱歌、玩木偶是不能当饭吃的。我看，你该去学裁缝，那活儿最适合你了，你平时就喜欢为木偶做衣服，喜爱针线活儿，而且现在裁缝是最好赚钱的了。”
然而，安徒生心中已有了自己的打算，他斩钉截铁地说：“不，妈妈，我要当演员。”
“你真的疯了吗，儿子？”玛利亚惊奇地看着安徒生说，“你看那些演滑稽戏和走钢丝的演员，整天挨饿，还要挨戏班主的鞭子，他们都是些流浪汉，正派人连话都不屑和他们说。难道你忘了吗？那次我为剧场的一个风骚女演员洗衣服，她连钱也没给就溜走了。”
安徒生竭力解释说：“妈妈，你不懂，卖艺的和真正的戏剧不是一回事。”
玛利亚忍不住发火了：“我是不会放你去当流浪汉的。你准备一下吧，你该去受坚信礼了，等牧师开导了你之后，你就可以自立了。”
安徒生对母亲非常失望，无意间看见龚杰生得意的笑脸，便立即恨上了他。安徒生想：一定是因为有了龚杰生，妈妈才和我疏远的。再看看含泪的玛利亚，安徒生差点做出了让步，因为他不想惹妈妈伤心。但安徒生最终没有让步。本来，穷苦人家的孩子受坚信礼，是由圣甘诺教堂大牧师的助手——神甫负责。大牧师只负责有钱的上流人家的孩子。安徒生仗着曾被大主教赞扬过，在报名登记时坚决要求由大牧师本人给他受坚信礼。大牧师知道安徒生有机会常常见到主教本人，怕安徒生告他有贫富之分，便同意了。
事情并不像安徒生希望的那么顺利。受大牧师坚信礼的全是有钱人家的孩子，他们对穷鞋匠的儿子也接受大牧师的坚信礼甚感不满，虽然安徒生回答大牧师的问题比别人好，而且还为他们唱歌、表演，但那些孩子却不理他，见他走过来，便转身用脊背对着他。安徒生伤心极了，只得一个人又去河边他最喜欢的那块石头上，呆呆地对着河水想心事。
一个叫拉乌拉的少女很同情被冷落的安徒生。在同伴嘲笑的目光里，她大方地走到安徒生身旁，温存而有礼貌地问候：“您好。”
安徒生很感动，像一下子找到了知音。他有些激动地问拉乌拉：“他们为什么这样对我？大牧师不是说过吗，在上帝面前人人平等的。”
少女答不上来，脸一下红了。其实，安徒生也弄不明白自己的提问，于是把话题扯开，说：“坚信礼过后，您想去哪儿？”
拉乌拉说：“我要去哥本哈根，姑姑说要为我开个舞会。”
安徒生立即兴奋地说：“我也要去那儿，不过，我是要去皇家剧院当演员。那时，您一定要来看我的演出，在大厅里向我点点头，好吗？”
“好的。”拉乌拉微笑着说，“如果您演得好，我会送您一束花的，就像这朵花一样。”说着，她将手里的一朵很大的白蔷薇花递给了安徒生。
在受到所有人冷落时得到这朵美丽的花，安徒生十分珍惜。回家后，他将花小心地插进盛了水的瓶子里，一直到花朵完全凋谢。一个傍晚，安徒生将收集起来的花瓣捧在手中，去河边那块他最喜欢的石头上，将花瓣一片一片小心地放进河水中，然后趁着初升的月色，看着花瓣随微波向远处漂去……
