自从登君山观长江后，徐霞客读起书来，更加勤奋了。因为做着“读万卷书，行万里路”出游考察的准备，所以幻想着那无边的快乐。可此时，家里发生了件意想不到的事情：父亲被强盗绑架了！费了九牛二虎之力才把老爷子赎了回来。但是由于惊吓过度，心怀忧愤，体弱多病的徐老先生，不久就谢世了。
这时，霞客19岁。父亲的遭遇，使他加倍看清了动荡的晚明社会的黑暗。他发誓绝不走仕途，而要走一条自己的路——把自己的才华抱负献给祖国的大好河山。
南旸岐村前有条叫沈塘河的小河，河上有座石板桥，被称为胜水桥。石桥的两端，有用条石砌成的石级。石级承载着宽大平直的石板，连通两岸。霞客年幼时常与村里的小伙伴在河中戏水，于岸边茫茫芦荡里刨芦根、芦笋，或者捉迷藏。更多的时候，他喜欢独自一人站在桥上，望着远去的船只，驰骋他年少的美丽梦想。他知道，顺着沈塘河出去，可以到马镇、到古老的运河、太湖无锡，到很远的地方……“什么时候，我才能一览山河之胜呢？”他扯一根芦苇，轻轻地吹起了芦哨……
作为母亲，王氏很清楚儿子的才华和志向。她是位普通而又了不起的母亲！因为她的目光远大，心胸开阔，尽管出身封建大家庭，却不拘泥于保守的传统思想。所以，霞客的父亲去世后，她独立支撑门户，管理家政，并督促子孙精进学业。里里外外处置得井井有条，顺顺当当。
虽然家有万亩地，不愁钱粮，但她还是带领家人仆役，自己动手。庭院的篱笆周围被她牵绳搭架建了很大的豆棚。豆藤顺着高棚支架，抽条引蔓，绿荫满堂。每当果实累累时，家人便采摘盈筐，分别送给亲族乡邻，剩下的一家人品尝。她给这个小庭院取名“碧云庵”。收了豆，她还把豆藤一把一把捆扎起来，供冬天做饭取暖。这些捆扎好的豆藤，也有被取了好名字，叫“长命缕”。
除了种豆，她最出名的就是纺纱织布了。她织的布，光鲜亮丽轻软如蝉翼。赶集的时候，人们都愿意买她织的布。她教育子孙们：“人要过好日子，靠的是勤劳，勤能补拙。尽管村里家家织布，为何大家独爱我们家的布呢？那是因为我们家织的布能和细绢媲美。读书也是一个道理，要取得好成绩，就要勤奋努力。”她对儿孙的言传身教，远近闻名，传为佳话。而理解、支持霞客“屐遍五岳，无负七尺男子”的壮举，更体现了母亲的博爱与胸怀。
因为圣人说过“父母在，不远游”，所以徐霞客对外出“远游”是有顾虑的。他身为孝子，在父亲辞世后，理应在家中侍奉母亲，怎么可以出远门呢？然而，母亲鼓励他说：“圣人说‘父母在，不远游’，是说孩子独自出门做父母的总是放心不下。不过，圣人不是也说‘游必有方’了吗？你呀，只要出门前选好了方向，计划好行程，到时候，尽可能按时回来就可以了。妈相信你！儿就放心大胆地去吧，不要有什么顾虑！好男儿，志在四方，不能为了我，让你变成笼中鸟儿，辕下马。那样捆住了手脚，困在家里。儿去游览名山大川，施展才干，实现自我抱负才是。记得回来时，把出行的路线图拿给妈看，给妈讲讲旅途的山水风光、奇闻趣事、风土人情，让妈也长长见识，我就心满意足了！”说着，她拿出一顶专门为了霞客出游而做的帽子，对霞客说道：“儿啊！妈也没什么物件能送给你，就为你缝制了这顶‘远游冠’，你在路上用它遮阳挡雨吧！”
徐霞客双手接过“远游冠”，感动地跪在母亲面前，喊了声“慈母大人”，便泪流满面，不知道该说些什么了。他在心里暗暗地说：“娘啊，儿子决不辜负您老人家的期望！”
徐霞客在自己22岁那年，也就是万历三十五年（1607年），戴上了母亲给他的“远游冠”，在王氏地亲自护送下，过了胜水桥。登上了远游的小船。自此，开始了他问奇于名山大川的出游。
每次出游归来，他总是采些奇花异果，或名贵药材，献给母亲。王氏呢，一面听他兴致勃勃地讲述天地之大、风俗之异、山川之胜、文物之丰，一面烹制可口的饭菜，为他接风洗尘。
这样往返十余载，霞客觉得母亲年事已高，还在助自己远行，心中实在不忍，便想依照古训不再远游，在家照顾老母，以尽人子之孝。王氏敏感地察觉到了儿子的心思，笑着对他说：“妈不是多次告诉过你吗？我能吃能睡，身体硬朗着呢！不要老为我担忧，这不，我还一直想和你一起走一趟呢！”
没过多久，霞客真地陪着73岁的老母亲，游历了荆溪（今江苏宜兴）的善权、张公二洞。一路上，王氏神清气爽，十分开心，常常为了不甘示弱而走在儿子的前面。甚至在她80寿诞的时候，还让霞客陪着她游历了荆溪和茅山（以道教闻名）。所以也有人说徐霞客健足凌云，是来有遗传。
为庆贺母亲的80大寿，徐霞客怀揣着对母亲的孝敬与感恩，请了位画家为母亲绘制了《秋圃晨机图》，还请了许多文坛墨客为之纷纷著文题诗。其中有一首题诗中这样写道：“豆花棚下鸣机杼，萱草堂中授简编”，正是描绘了徐母在豆棚绿荫下纺线织布的机杼声和子孙们的琅琅书声相应和的生动场景。
母亲逝世后，徐霞客虔诚地精选了一批石料，请工匠将85位知名人物的94篇诗文镌刻成76块碑版，镶砌在取“四月清和雨乍晴，南山尚广转分明”之意的“晴山堂”内，为后人留下了一笔极为宝贵的文化财富，这也是研究他生平及家族的重要资料。
