本来，参加全国党代表会议的代表们得知饶漱石闹翻案，已经很恼火，看过反映上海市公安局“重用、包庇和掩护”大批敌特分子的材料，很自然地把它同毛主席开幕词对阶级斗争形势的估计联系起来，更加群情激愤，认为饶的问题已经超出犯错误范围，而是对党对人民犯了罪；进而对饶的政治历史提出了疑问，还联系到他抗日战争时期在皖南事变中的脱险，究竟是如他安抵苏北后给中央电报中说的“派警卫员下山收买敌连长成功”，还是被俘后叛变而被派回来充当内奸的。毛主席在作会议结论说到高、饶问题时，提的已经不只是高、饶两个人的联盟，而是高岗反党集团和饶漱石反党集团（在饶的反党集团里点了扬帆和向明的名）的联盟。扬帆既然被列为饶漱石的“一丘之貉”，饶的问题实际上已经由人民内部矛盾转为敌我矛盾了。扬帆早在1954年底就由公安部派人押解到北京隔离审查。1955年4月1日，在饶漱石被捕入狱的同时，扬帆也被正式逮捕；与扬有牵连的许多人，包括胡均鹤在内，也相继被逮捕了。
其三，潘汉年的“交代”，引发更大“爆炸”。
潘汉年，江苏宜兴人，1906年出生，1925年加入中国共产党。历任中共中央宣传部文委书记，中共江苏省委宣传部长，中共中央特科情报科长，苏区中央局宣传部长，第二次国共合作时中共谈判代表，中共中央社会部副部长，华中局情报部部长，华南局情报部负责人。上海解放后，历任中共上海市委副书记、第三书记，上海市常务副市长，市政协副主席。这次开全国党代表会议，潘是上海市代表之一。
1955年3月下旬，当全国党代表会议的议程进入“高、饶问题”后，一些受到高、饶影响或和高、饶问题有牵连的人，先后在会上作了自我批评和交代。毛主席对此表示充分肯定。会议临结束时，毛主席号召所有同高、饶反党联盟有过某种联系或有所牵连的干部以及本人历史上有什么问题要交代的，都应当主动向中央或口头报告或写书面材料讲清楚。潘汉年受到很大震动，他想到：自己同扬帆、饶漱石都有过工作联系；在所谓上海市公安局“重用、包庇和掩护”反革命的问题上，自己作为分管政法、情报工作的副市长当然负有一份不可推卸的责任；胡均鹤是由他介绍到解放区去投诚的，如今出了问题，他不能毫无干系。尤其是，他同胡均鹤在抗日战争时期有过一段特殊的联系：当年他策反李士群的过程中，胡是一个重要联络人。1943年夏天，他从新四军淮南根据地到上海同李士群联系时，李借故把他骗到南京，用劫持的手段拉他去见汪精卫，这件事他在回到根据地后，由于种种原因，一直没有向组织上报告过，现在胡均鹤已被逮捕审查，自然会将有关情况交代出来。会见汪精卫这件事虽然没有对党的利益造成损害，但长期没有向党组织报告，这已经是很大的错误了，并且不容易说清楚。经过反复考虑，他在全国党代表会议闭幕的第二天，即1955年4月2日，带着写好的材料去向出席党代表会议的上海代表团团长陈毅报告，并请他将那份材料转呈中央。陈毅大吃一惊，感到事关重大，安慰了潘几句，便匆匆将潘的交代材料亲自送到中南海给毛主席。毛主席看过材料大为震怒，批示：“此人从此不能信用。”并作出立即逮捕潘汉年的决定，在4月3日责成公安部执行。潘汉年的罪名，一是在抗日战争时期秘密会见过汪精卫而又长期没有向组织上报告；二是对上海市公安局“重用、包庇和掩护”胡均鹤等大批特务的问题负有直接责任。据此，潘汉年被认定为隐藏在中共党内的“内奸”。1962年毛主席在“七千人大会”（即扩大的中共中央工作会议）上说：“有个潘汉年，此人当过上海市副市长，过去秘密投降了国民党，是个CC派人物，现在关在班房里，但我们没有杀他，像潘汉年这样的，只要杀一个，杀戒一开，类似的大都得杀。”语气虽是宽容的，却又给潘的问题再次定了性：实际上已经断定，潘早在30年代参与国共第二次合作谈判期间就叛党投靠国民党了。
1955年4月4日，毛主席主持召开七届五中全会，除通过全国党代表会议公报外，正式批准逮捕饶漱石和潘汉年（实际上是追认已经执行的决定）。在这次全会上，毛主席特别批评了党内存在“宁右勿左”的思想，对敌人从我党内部来破坏的实际危险认识不足，因此失掉了警惕，形成了空隙。他强调，今后必须着重反右，反对落后于政治斗争，反对麻痹；在大家注意了这样的问题之后，再注意防“左”。以潘汉年来说，多年在党内，大家同他熟悉的不少，是与“老虎”睡过觉，是瞎了眼睛；但是，一旦发觉了他是“老虎”，眼睛就应当光亮起来，与之划清界限，帮助党揭露，不要以为与“老虎”同床过就有所顾虑，而丧失一个党员应有的立场。毛主席还说，因为党在过去肃反问题上曾犯过错误，以后采取九条方针生了效，因而形成了一种右的偏向，总是原谅自己而失去应有的警惕，今后必须改正。一时全场气氛十分紧张，事先对此毫无精神准备的中央委员们，包括我在内，听了都大吃一惊，实在料想不到高、饶问题最终会发展到这一步！
潘汉年的问题，直接同饶漱石、扬帆的问题纠缠在一起，当时毛主席认为：“我感觉，饶漱石的罪恶，可能不比高岗小一些。”于是，饶漱石又被认定为饶（漱石）、潘（汉年）、扬（帆）反革命集团的首犯。从1955年5月到1957年底，公安部根据中央指示，成立饶、潘、扬帆专案组，下分三个小专案组，对他们进行长时间的侦讯。虽然几经内查外调，没有查出他们是“内奸”的确切证据，也没有发现新的问题，只查明了饶隐瞒在皖南事变中被俘后才收买敌军连长成功，而向中央谎报为“派警卫员下山收买”这样一个情节，但在侦讯结束后公安部写给中央的报告中，仍然断言这三个人“实际上是一个反革命集团”。此后，这个案子被长期搁置，并没有依法移交检察、司法机关审理。直到“七千人大会”上毛主席讲了潘汉年可以不杀以后，潘才在1963年1月由最高人民法院结案，被判处有期徒刑15年，剥夺政治权利终身；扬帆也在1965年被判处有期徒刑16年，剥夺政治权利终身；饶漱石因为在狱中患了精神分裂症，经公安部报请中央批准，在1965年予以假释，安排到一个农场养起来，配备了服务员、厨师各一人，每月发给生活费200元。“文化大革命”中，饶、潘、扬三人再次被捕入狱。饶漱石在1975年病故。
对其他人员的处理，如果撇开饶、潘、扬一案不说，单以党中央对高、饶反党联盟的处理而言，牵连的人很少：在东北地区，只有被称为“五虎上将”的五人被撤了职，降了级，下放到一般单位工作；华东地区，受到撤职处分的高级干部，主要就是一个山东分局第二书记向明。
对于其他一些与高、饶有或深或浅牵连的高级干部，党中央仍本着与人为善、治病救人的精神，没有再点名批判。后来的发展情况表明，这样不搞扩大化的处理比较成功，既教育挽救了许多干部，也有利于党的团结。
至于高、饶的身边工作人员，更没有受到株连，都由中央组织部安排了工作。分配到中央办公厅的几个同志，无论在“文化大革命”前或“文化大革命”中表现都很好。特别是在“文化大革命”期间，大多受我的牵连而遭到迫害，但仍然坚持了革命原则，事实证明，他们都是好党员、好干部。
