事实上，杨宪益与戴乃迭这桩婚姻，过程中的小缺憾还是不少的。比如文革前期杨宪益一度有了精神分裂的征兆，出现了幻听与妄想症状，一辈子曾经在许多单位工作，都与同事相处融洽，可是在文革风暴的气候下，单位同事竟然都不理睬他了，见了面连招呼也不打了，加上无休止的批斗会，他的内心感到十分苦闷。可是这些，似乎并未引起戴乃迭的严重关注。也许是杨宪益一贯表现出看淡一切、豁达对人事的姿态，使妻子大意了。
杨宪益在自传里写到，当他带着“社会的弃儿”的孤独感从单位回到家里，竟发现，“乃迭和孩子们的生活一切如常，都挺高兴的，有时甚至还情绪热烈。他们没有受到骚扰，他们的生活与我不同。”至少在那一刻，杨宪益也一定会有“家庭的弃儿”的孤独感的。
当他在幻听与妄想病症的作用下，思绪纷乱、意志偏执，一心要把那他头脑里以为的、而实际上子虚乌有的暗藏在某个角落的、专门针对他杨宪益的敌人揪出来，查明他究竟是什么人，要与他展开辩论，要揭穿他的阴谋。晚上，一般是妻子与孩子们都到卧室睡觉去了，他独自坐在起居室里，开始大声地向那个躲在阴暗处的坏家伙发起攻势。有一次戴乃迭没有睡着，听见了起居室里的动静，走了进来，看见了杨宪益正在发动一个人的战争，认为丈夫“已经疯得胡言乱语了。”可是仅此而已，未见她有安抚与要带他去治疗的举动。
当儿子丧身火海后，戴乃迭也有些责怪杨宪益，认为儿子的悲剧，是在解放前后那几年，杨宪益太热衷政治，疏于对成长中的儿子的关心造成的。固然，儿子在出现一系列的性格怪异与思想偏差之后，以那种极端的方式结束自己的生命，父母或多或少都负有难以推卸的责任，但是1949年前后，在那政权更迭、时代遽变的岁月，作为一个关心国家命运与前途的、向往光明、追求进步的有良知、有强烈的社会责任感的知识分子，安能躲进象牙塔里、置身事外！
戴乃迭所谓杨宪益热衷政治，主要指他在解放初期担任的行政工作。在那个时期，杨宪益最高“官拜”民革南京市委秘书长、南京市政协副秘书长。而他走到这一步，也是水到渠成的结果。
杨宪益留学结束、携英国女友归来，正是抗战时期。以他的出身及家庭背景，他本应与国民政府官僚们更意气相投，可是他却与他们格格不入，他说他在国民党中国所见所历都使他感到“憎恶”，早在重庆北碚时“就决心加入反对国民党的进步力量了”；抗战胜利后，国民政府的种种行径又常常使他气愤得血脉喷张。
早年曾留学国外、通晓多种语言的历史学家冯承钧教授死于贫病，家人竟无钱安葬。历史学家向达教授激于义愤，写信给朋友们，为冯承钧募集安葬费。杨宪益接信，不免物伤其类，不仅寄了钱，还在给向达的信中愤言道：
“既然国民党反动政府把知识分子视同草芥，那么我们一定要和共产党站在一起，来推翻这个可恨的政权。”
杨宪益竟不是那种述而不作的知识分子，他不但说，而且做，而且说做就做。
抗战胜利后，国民党内的一部分民主分子，与其他爱国分子建立了三民主义同志联合会（简称“民联”），另一部分国民党民主分子建立了中国国民党民主促进会（简称“民促”），尔后“民联”与“民促”与国民党其他爱国分子联合组成中国国民党革命委员会（“民革”），宋庆龄任名誉主席。“民联”与中共地下党关系密切。
杨宪益加入了“民联”，后又随之成了“民革”的一员，并且担负了具体的任务，即通过与外国使馆人员与国民党上层人物包括大学教授的交往，为共产党搜集政治军事情报。杨宪益夫妇有一位姓伊文斯的朋友，是英国驻华使馆武官。伊文斯与国民党将领时有接触，杨宪益通过他获取了一些情报，包括国民党与共产党内战部署、国民党将领思想与动向等。
南京解放前夕，社会混乱不堪，国民政府的官员纷纷另寻生路，政府一些机构或名存实亡，或一盘散沙，杨宪益所在的国立编译馆的馆长也离开编译馆，跑到上海教书去了。编译馆的工作人员自动组织起来，成立了类似工会的“工人福利委员会”，以自救自护。杨宪益被大家推为委员会主席，又被推为临时馆长。他组织纠察队，看护编译馆财产，当解放军进城后，便将一个完整的编译馆交给了共产党。
杨宪益老来获准离休，也表明组织上认可了他早在解放前就“参加革命”的了。
杨宪益担任了民革南京市委秘书长、南京市政协副秘书长。后者工作的主要内容为统战，那时他常常组织或主持南京市各界人士的各种会议，会议之后常常还要与其他干部讨论会议情况、研究下一步部署，加上前者的工作，常常从早晨一直忙到后半夜。以至很少有时间陪伴家人。连妻子在医院待产，他都很少去照顾她。这种忙碌的状况直到1952年他们迁居北京为止。
解放初期杨宪益的短暂为官，是他痛恨旧社会、追求美好理想的结果，是“革命需要”使然，而不是他往仕途上走的有心开花。他从来就不是一个神往官宦的人，在国民政府执掌大陆政权期间，他与罗家伦为邻，与杭立武往来，都是相当不错的机会，可是他丝毫不存加以利用的念想。
而解放后的做官，事实上他也很快就厌倦了。在那两三年时间里，他的专业研究与读书，他的写作，他的翻译，被名目繁多的统战会议和民主党派工作所取代，这在他看来是在“浪费光阴”，这成为他终止这种生活方式的动力。
所以妻子对他的埋怨，可以理解，但确实不该怪他。而从中隐约透露出，在这些方面，妻子对他，并不是完全理解的。
杨宪益晚年说起，在他们的独子去世前，夫妻俩在一起生活多年，没有为什么问题发生过严重争执。可是儿子去世后，情况有了一些改变，戴乃迭不仅身体走了下坡路，心境也有所改变，这一点，杨宪益感觉到了。
杨宪益虽然不肯相信迷信，但由自己的身世与人生经历，又不由得对算命先生掐指下的命运，不肯完全以“巧合”作解释，而这方面，也成为“后来他与戴乃迭之间最大的分歧。”
当然，夫妻之间某些意见相左也很寻常。而随着晚年后的戴乃迭身体状况出现严重病症，夫妻俩的生活在很大程度上转以“治病”与“照料”为内容，其余的一切，就都不成为问题了。
而事实上，夫妻俩毕竟由于出生在不同的国度，家庭背景与人生经历也不完全相同，彼此的观念、感情不可能不存在差异。
早在1941年，太平洋战争爆发时，两人对战争的心态就有所不同。日军在偷袭珍珠港的同时，对包括英属殖民地在内的东南亚国家和地区发动进攻，香港、新加坡等英国殖民地先后陷于日军之手；在印度洋上，日舰相继击沉了英国竞技神号航空母舰、威尔士亲王号战列舰、反击号战列巡洋舰等一批英国舰艇，重创了英国远东舰队。
那时夫妻俩正在贵阳师范学院教书，他们每天都迫不及待地读报，同样地高度关注战事的发展。不同的是，戴乃迭为在新加坡作战的胞兄的命运以及祖国的利益而忧心忡忡，杨宪益则有点坐山观虎斗的轻飘飘，他“觉得自己是个旁观者，饶有兴味地眼看着一个***国家在痛打另一个老牌帝国主义国家。”并不因为英国是妻子的祖国就与妻子怀有同样的感情。
