谭嗣同童年时受影响最大的还是他的母亲徐五缘。
徐五缘出生在贫寒家庭，勤劳而善良。她嫁给谭继洵时，谭继洵还没有做官，徐五缘要承担全部家务，她每天天刚亮就起床扫地做饭，饲养家禽，耕作田地。晚上孩子睡下后，她还陪着读书的丈夫在油灯下缝补衣服或纺纱织麻，当时被乡里称为有古贤女的风貌。正是有她含辛茹苦勤劳持家，使得谭继洵可以专心于学业。
后来，丈夫谭继洵的官越做越大，但徐五缘却没有改变俭朴和勤劳的习惯。就是作为巡抚的夫人，每餐仅有三四种菜肴，而且大都是蔬菜，很少有鱼肉；平日总是穿着旧衣裙，只有会客时才穿仅有的几件绸缎衣服。谭嗣同从懂事时起，就记得母亲常穿着一件丝麻衣，衣服多处裂开，依稀可以看到露出的麻絮，但母亲依然珍惜，穿了十几年而没有遗弃。谭嗣同小的时候，母亲担心他和弟弟妹妹在官僚家庭养成奢侈闲逸的习性，常常向他们讲述自己过去贫苦生活的情形，让他们明白衣食的来之不易。每天晚上，她自己依然纺纱直到深夜，这给儿女们留下了非常深刻的印象。在谭嗣同童年时，曾发生了这样一个故事。
当时，谭嗣同年龄小，很淘气，常常玩得忘了读书。有一天，老师问谭嗣同：“你家哪个女仆深夜还在不停地纺纱，响声隔着一道墙也听得清清楚楚，她怎么这样勤劳呢？”
谭嗣同回答说：“先生，那不是女仆，是我母亲，她天天晚上都要纺纱的。”
老师听了，非常惊讶。在知道了这是事实后，就严肃地对谭嗣同说：“你爸爸已经做了十年的官，家里算得上富贵了。但你妈妈还是不愿过清闲安逸的日子，每天都这样辛劳，你却不肯下苦工学习，只知道嬉戏玩闹，难道心里不感到惭愧吗？”
听老师说起母亲的勤劳，谭嗣同心里非常激动，他恳切地对老师说：“先生，我以后再也不贪玩了，一定认真念书。”从此以后，谭嗣同果然有了转变。随着年龄的增长，学习更是勤奋，加上他本身资质聪慧，所以少年时就写得一手好文章。
徐五缘是个很刚强的女性，在艰难的生活中从不气馁，在她的影响下，谭嗣同也形成了倔犟的性格。谭嗣同7岁时，母亲因事要从北京返回浏阳老家。临行时，她告诫谭嗣同要勤奋学习，不要过于思念亲人。因为年幼，与母亲离别后谭嗣同思母成疾，总是偷偷地哭，旁人询问情况，他也总是闭口不说。第二年，徐五缘返回北京，谭嗣同也不肯向她承认自己曾经哭过。徐五缘笑着对别人说：“嗣同能够这样的倔犟，足以自立，我就是死也没有可顾虑的了。”
谭嗣同虽然出生在高官家庭，但从来没有一点慵懒懈怠、嬉戏娱乐的纨绔子弟习气，而且愿意和社会下层民众接近，这和母亲的影响有着很大关系。
谭嗣同曾作《先妣徐夫人逸事状》记载母亲的生平事迹。
