隆庆四年（公元1570年）春，刑部都给事中舒化、戴凤翔联合起来弹劾海瑞拘泥固执，理由是：“不谙吏事”，“庇奸民，鱼肉缙绅，沽名乱政”。也就是说海瑞不切实际，不通人情世故，不达政体，不适合处理地方事务，应该安排南京的清闲职务“养起来”。 他们还拿海瑞的私生活来说事，海瑞的前两任妻子先后被休，七个月前，家中一妻一妾同时去世，疑似谋杀。明朝官员大多是文人出身，文人生来要有所担当，修身齐家治国平天下，连家都不齐，何以治国？
这帮同僚的弹劾之辞，激怒了海瑞。既然同僚们都不理解自己，没人为自己辩解，他只好上书自辩，称那些弹劾他的言论纯属虚构“无一事是臣本心，无一事是臣所行事迹”。海瑞感到万分委屈，自己一心报国，两袖清风，结果却换来了弹劾。他把一腔怒火，烧向朝中众大臣，怒斥“今举朝皆妇人也”。首辅李春芳自我调侃说：“满朝都是女流，那我不就成老婆子了？”
事已至此，海瑞这个巡抚是没办法再干下去了。海瑞在离开江苏地界时，沿路百姓欢送，但南京的官吏、乡绅，却躲在人群中以手加额，弹冠相庆。
在颓风肆意，腐败横行的大环境下，像海瑞这样不参与逐利的官员真正成了异类。而他的同类们，那些饱读儒家典籍的士大夫们，早已认为圣贤之事不合时宜。即使那些口碑尚好的公卿大臣，也不过是手伸得不太远，钱捞得有节制而已。在他看来，举国上下，已经没有一个人称得上正人君子。那些特立独行的孤高之士，在他看来做得远远不够，而贤士大夫则都是些污秽之人。他恨这些摇摆不定首鼠两端之人甚于大奸大恶，因为他们盗用了圣人的名义，对圣人之道为害更大。
其实，海瑞所向往的世界，也并不是像我们想象得那样遥不可及。大明开国之际，太祖朱元璋已经为这个世界制定了一副美好的蓝图，他制定了一系列夯基固本的祖训家规，对帝国生活的方方面面都作了详尽得无以复加的规定，可以说是为自己的子孙定下了万年之基。在海瑞看来，朱元璋的这些规定接近于完美。从某个角度来说，海瑞的心和朱元璋是相通的。海瑞对朱元璋的残酷惩贪措施完全赞成：“我太祖视民如伤，执《周书》‘如保赤子’之义，毫发侵渔者加惨刑。数十年民得安生乐业，千载一时之盛也。”
海瑞所到之处, 总是把祖制挂在嘴上, 要求大家一丝不苟的执行。他在南京当官时, 有位御史在家里叫堂会, 请了一群戏子演戏。这在当时是司空见惯的事。但是海瑞知道此事后, 居然要当众杖责这位御史。官员们大惊失色, 苦苦恳求。但是海瑞不为所动, 理由是太祖皇帝定下的祖制就是如此。
此时距明朝开国已经两百多年, 而海瑞简直像一个从洪武年代过来的穿越者。祖制在明朝享有宪法一样的崇高地位, 海瑞把它挂在嘴上, 就等于占据了道德制高点。别人没法还嘴, 但却可以孤立他。海瑞在官场上的人缘是相当差的。一位叫黄锦的太监就对皇帝说过："这个人脾气极端乖戾, 朝臣没有不讨厌他的。我都看不到有人肯和他说话。”
海瑞认为，所有的错误，所有的丑恶，都是因为人们不能严格遵守圣人和祖宗的教训，放任私欲发展造成的。其实今天看来，如果我们用“一根筋”这个词来形容海瑞，估计也没有多少人站出来持反对意见。如果换作褒义一点的词，那就是“执着”。
和那些奉行“以德服人”的官僚不同，海瑞并不完全相信治国的根本大计是上层提倡的一个抽象而至善至美的道德标准。这个标准责成下面的人在可能的范围内照办，行不通就打折扣。而他尊重法律，乃是按照规定的最高限度执行，如果政府发给官吏的薪水微薄到不够吃饭，那也应该毫无怨言地接受。
这种信念有他自己的行动作为证明：他官至二品，死的时候也就仅仅留下几两银子，不够殓葬之资。当然由于海瑞的道德人格, 他在社会的各个层面都拥有不少仰慕者。但是就连那些仰慕他的人也认为他那套行不通。有一位叫王弘的人在《山志》里说：海瑞品格高尚, 确实无人可及。但他要是掌了大权, "吾不知其竟何如也”。一位叫何良俊的人也夸海瑞"不怕死, 不要钱, 不吐刚茹素, 真是铮铮一汉子！”, 然而话锋一转, 又说海瑞执政, 终究会坏了国家大事。
朱元璋为官员们定下了历朝以来最低的俸禄。低薪制其实是中国基于儒家学说的一种政治传统，只不过其他朝代没有低到像这样让人吃不饱饭的地步。
帝国的官员们一方面是官俸低得不足以维持正常开支，另一方面是各级官员的权力根本不受制约，他们可以通过各种管道榨取油水。这种“灰界限”的荒悖，正如同“渴马守水，饿犬护肉”，导致帝国权力集团的整体腐化成为一种不可避免的趋势。在这种制度下，帝国的文官集团也自然化作两大主流：一种是做清官，一丝不取，结果就是像海瑞这样甘于正常人无法忍受的贫穷。另一种就是浊流，他们遵照官场惯例，通过灰色管道来维持开支，支撑所的建立关系网。而一旦越限，人们的欲望就会变得一发而不可收拾。就像癌细胞遇上了适合的环境就会疯狂生长，直至吞噬掉一个庞大的帝国。
