1955年3月15日,潘汉年主持了上海中苏友好大厦的落成仪式,当晚乘车去北京参加中国共产党全国代表会议。这次会议的一项重要议题是解决高岗、饶漱石反党联盟问题。一些曾受高、饶影响,或与高、饶有过牵连的人先后在会上做了自我批评和交代。毛泽东在会上要求高级干部本人历史上有什么问题要交代的,应主动向中央讲清楚。在会上印发的材料中,有涉及上海市公安局工作中的一些问题,潘汉年看了材料后,触发了长期埋在心底的一件往事。那是1943年,潘汉年奉命到上海寻找汪伪特工头目李士群,搜集日伪情报。与李见面后,李突然提出汪精卫现在很消沉,想见潘汉年。潘汉年明知是圈套,但权衡当时的实际情况,从大局出发,决定答应李士群的要求。事后,潘汉年回到淮南根据地没有马上向组织报告,许多书上写的都是“种种原因”,但主要原因有二:一是当时整风运动正值干部审查阶段,饶漱石利用整风反陈毅,说陈毅偏袒知识分子干部,潘汉年怕一时讲不清,把问题复杂化了,也对陈毅不利;二是他怕饶漱石以莫须有的罪名把自己打成特务,成为第二个“杨帆”。作为1925年入党的革命者,他目睹过党在“左”的路线下的种种悲剧,他内心斗争过,痛苦过——他不是不想讲,而是有顾虑。但他不曾料到这一迟疑,将给他带来终生的遗憾和痛苦。1955年4月2日,经过反复考虑,潘汉年向陈毅详细汇报了1943年会见汪精卫的来龙去脉,和自己长时间未向组织说清楚的原因,并将一份此事的经过情况和检讨交给陈毅转报中央。毛泽东看过材料后批示:“此人从此不能信用。”并做出了立即逮捕审查潘汉年的决定。