第二天，健三在同一时间，又经过同一地点。第三天也经过那里，却不见那个不戴帽子的人从什么地方钻出来。他在那条常走的路上往返，显得那样机械而勉强。
一连五天都这样相安无事地过去了。第六天的早晨，那个不戴帽子的人突然从根津寺坡道的暗处钻出来，把健三吓了一跳。这次与上次的地点大致相同，时间也几乎一样。
当时，健三尽管意识到对方会慢慢接近自己，但他仍一如既往，机械而勉强地继续向前走。可是，对方的态度截然相反，眼睛里凝聚着足以使任何人望而生畏的目光，死死地盯住健三。从那阴沉可怕的眼神里，可以清楚地看出那人在寻思，只要有空子，就要向他靠过来。健三毫不迟疑地从那人身旁冲了过去。
“老是这样下去终归是不行的。”健三心里有这种异常的预感。
当天回到家里，他仍然没有把不戴帽子的人的事告诉妻子。
他和妻子结婚已有七八年了。当时，他已跟那人断了关系，何况结婚的地点又不在故乡东京，妻子当然不会直接知道那人。如果有所传闻，那只能是出自健三本人的嘴，或是从他的亲戚那里听到，对健三来说，这不是什么了不得的事。只是结婚之后，有一件与此有关的事，至今还经常在他的脑海里浮现。五六年前，他还在外地的时候，有一天，在他工作单位的桌子上，意外地放着一封女人字体的厚信。他好奇地拆开了这封信，可是，费了很大的劲也没有把信看完，因为密密麻麻的小字，写了约有二十张。他只大致看了五分之一，就把信交给了妻子。
当时，他认为有必要向妻子说明写来长信的女人的情况，更有必要把与这女人有关的那个不戴帽子的人拉来作证。健三依然记得当时自己被迫这样做的情景。可是，健三喜怒无常，当时向妻子作的说明详尽到了什么程度，这一点已经没有印象了。因为这是有关女人的事，妻子也许还记得清清楚楚，可他却无心再去询问妻子。他不愿意把写长信的女人和不戴帽子的男人摆在一起，因为这样会勾起他去回忆自己不幸的往事。
好在他眼下的处境没有工夫去为那些事情操心。他回到家里，换好衣服，马上钻进自己的书斋。他待在这六帖[4]的小房间里，感到要做的工作堆积如山。而实际上，比起工作来，还有一种非承受不可的刺激更强烈地支配着他，这自然使他焦急不安。
在这六帖的房间里，他打开从遥远的地方带回来的书箱，取出外文书，盘腿坐在如山一般的书堆里，过上一个星期，甚至两个星期。他随手抓到哪一本，就拿过来看上两三页。正因为如此，这间至关紧要的书斋总是凌乱不堪，顾不上收拾。末了，来访的朋友实在看不顺眼，就不分前后顺序，也不管册数多少，把所有的书都归置在书架上。许多了解他的人，都说他是神经质，他却认为这是自己的习性。
