蒋介石决心与共产党人翻脸，当始于二届三中全会召开前夕。3月3日，即蒋在南昌召集中央政治会议，意外发现谭延凯、何香凝、陈公博等均已动摇，决心去武汉参加二届三中全会，即同意将中央党部和国民政府迁往武汉之际，蒋内心就已经充满了恐惧与恼怒。
恰在此时，江西赣州工会委员长、中共党员陈赞贤被亲蒋的国民党军队所捕杀，所有蒋介石率领的军队所在之地，均很快发生了夺取地方党政权力的流血事件。这无疑成为蒋介石一派人决心与共产党翻脸的一个重要信号。
1927年3月24日，张静江、邵元冲、蔡元培、蒋梦麟、马叙伦等同车去上海，随即赴龙华前敌总指挥部与白崇禧、潘宜之、黄郛、吴稚晖、李石曾等见面，“共商应付党务事宜”。而就在张静江等从杭州动身前往上海的当天，刚刚被占领的南京城发生了有组织的排外抢劫事件。部分在江右军总指挥程潜率领下的国民革命军官兵，对城内各处外国领事馆、侨民住宅和外国教堂等大肆抢掠。
因此，停在长江上的美、英军舰遂从下午3时左右开始炮击南京。蒋得到消息后，虽然在公开场合蒋并没有把南京事件归结为共产党人的阴谋，但其内心明显地怀疑有“奸党”在借故挑拨自己与列强政府的关系。因此，蒋于27日急忙将吴稚晖、张静江等邀入总部行营，秘密“开会讨论与共产党分裂之办法”。
在这个时候，蒋介石与共产党确已形同水火，再难相容。这里面除了他认为武汉中央种种做法的背后其实都是鲍罗廷和共产党人在起作用以外，他还担心共产党人随时可能采取行动冲击租界，引发外国干涉。注意到汉浔事件后英、美、日、法各国政府全力保护其在上海利益的态度，把军事胜利视为一切之首的蒋介石，在对列强问题上不得不表现得格外小心谨慎，极力与列强各国政府的代表周旋应付，避免造成外力干涉的严重局面。在这种情况下，蒋自然不会提出租界问题，甚至还要公开声明确保各国租界的安全，以取信各国政府。
这时的上海，谣言蜂起。特别是各个外国租界里躲避着大量从武汉、九江以及其他国民革命军占领区逃亡而来的外国侨民和中国人，他们对于两湖、江西等地激烈的工农运动充满恐惧，生怕国民革命军占领上海后会重现汉口、九江下层民众冲击租界的情景。
鉴于自己在上海工人中的号召力，和共产国际执委会第七次扩大会议提出的要超越民主革命界限的要求，在上海的中共领导人这时也显得相当振奋，反复强调：我们党“已到夺取领导权的时期”，因此力主公开打出自己的旗帜。既然要夺权，上海共产党人自然要指挥总工会四处冲击国民党右派组织，并积极筹组上海特别市临时政府。
3月22日，前敌总指挥白崇禧初到上海时，对共产党领导的总工会态度还好，还同意各工会的武装纠察队统归总工会管辖，对共产党推动组建的市政府也未加反对。但第二天态度立即转了一百八十度，扬言“将设法根本消灭武汉风潮之再现于上海”。
蒋介石、白崇禧等人的担心，并非完全无根据。基于武汉、九江的经验，上海中共领导人内部已经开始提出了尽快收回租界的设想。相当一部分人的意见是主张对外国资本家下最后通牒，并准备收回租界的总罢工。上海总工会委员长汪寿华根据中共区委指示，甚至公开在全上海工人代表大会上宣布：工会今后在政治上的责任，第一条即为收回租界。
工人方面的反应马上就引起蒋介石一方的高度警觉。25日，当外国记者据此询问东路军总指挥白崇禧时，白公开强硬地表示，工人一旦有扰乱，驻军必将负责缴械。他并且当即下令，将与闸北上海总工会关系密切的驻军薛岳部调开，另调刘峙部接防。
这种情况引起上海共产党人的反弹，立即召开群众大会反对，并派人质问白崇禧，坚决反对调离薛岳。中共上海区委还要求所有党员必须公开宣传这次革命是在CP领导下，大开门户，吸收党员，要准备“公开取政，包办革命。”
中央显然支持态度强硬的对抗态度。陈独秀在上海特委会上直截了当地鼓动说：中国革命如不把代表资产阶级的武装打倒，中国就不要想革命。现在上海的资产阶级和国民党右派已经与党军勾结在一起了，“右派军队来缴械，我们就与之决斗，此决斗或许胜利，即失败则蒋介石的政治生命也完全断绝”。
这时上海总工会属下的工人纠察队其实只有两三千人，受其影响组织的工人约25万，占上海工人总数之比并不大。但也正因为如此，共产党人更高度重视这支武装，因为它是共产党人控制工人运动，进而控制上海的关键所在。26日，上海共产党人得到消息，江西赣州总工会委员长陈赞贤被军队所杀，南昌、九江国民党左派控制的市党部均被捣毁和解散，因而情绪更加激愤。
上海区委正式决定：目前最主要策略就是：“反对反动的新军阀，积极响应宁案，举行反英大罢工，达到收回租界的目的。我们要随时随地准备武装与右派军队发生总决斗。”他们确信：“如果上海工人把右派打倒，租界收回，在革命的前途非常伟大。” 这边蒋介石磨刀霍霍，那边共产党血脉贲张，双方流血冲突已不可避免。
然而，正在这时，中共上海区委收到了莫斯科3月27日的来电。来电提出：“我们认为，长时间地举行总罢工要求归还租界，在现阶段是有害的，因为这可能使上海工人处于孤立状态并便于当局对工人采取新的暴力。最好是组织示威性的罢工，抗议在南京的暴行，”“而租界问题要同国民党政府商量。”据此，陈独秀不得不稍加变通。他函告中共上海区委，要求他们“表面上要缓和反蒋、反张，实际准备武装组织”，对总同盟罢工，也“要得民党及老蒋同意”。
有陈独秀的指示，中共上海区委决定于第二天，即29日召开上海市民代表会议举行临时市政府就职典礼时邀请蒋介石出席，以求缓和，并观察蒋之态度。29日，蒋介石没有出席这场典礼，而且致函临时市政府，要求其“暂缓办公，以待最后之决定”。蒋公开否认已经得到武汉中央明令认可的上海临时政府，不仅表明了决心与武汉中央抗衡的态度，而且预示着双方冲突已迫在眉睫。
中共中央因此再电莫斯科，强调准备抵抗的必要。联共中央政治局仍旧坚决不同意。恰在这时，汪精卫意外地从国外回到上海，从而使得尚未下定最后决心的蒋介石一度放慢了与共产党破裂的脚步。
就在蒋介石发表通电的头一天晚上，吴稚晖等几位监察委员已经秘密开会，通过了弹劾共产党案。对于吴稚晖等人2日晚的秘密会议及议案，汪精卫并不知情。3日上午蒋介石、吴稚晖、李石曾、蔡元培、李济深、李宗仁、白崇禧等人一同前往孙中山故居与汪会晤。谈到清党问题时，吴稚晖直言相告：“此次监察委员会提出对共产党弹劾案，必将采断然之处置，故只系通知而非商榷，”汪听罢“怫然”，半晌不语。
会后，汪精卫马上找到了陈独秀，转达了蒋介石等人要求共产党员暂停一切活动的提议。陈独秀在百般解释之后，为澄清事实，力避谣言，当即起草了一份声明书，并力劝汪精卫联名发表。这份由汪、陈合署的宣言4月5日即公开刊登在上海的报纸上。宣言声称，无论是共产党将组织工人政府、冲入租界、打倒国民党，还是国民党将驱逐共产党、压迫工会、解散工人纠察队，所有这类说法，都纯属谣传。
汪精卫与陈独秀的联合宣言，并未达到劝说共产党人暂停一切活动的初衷，反而让蒋“不胜惊异”，因为汪陈宣言中不仅丝毫没有提到要共产党员暂停一切活动的问题，而且汪居然代表国民党保证没有制裁共产党的任何意图。
注意到武汉中央公开宣布决定迁都南京，蒋再也沉不住气了。考虑到这一危险的后果，蒋表面上是遵从武汉训令，实则双管齐下，准备照江西等地的办法用强力来夺取南京和上海的党政权力。9日中午，拥护武汉中央的江苏省党部和南京市党部相继被蒋派组织所捣毁。与此同时，蒋下令查封了直接受武汉邓演达领导的上海总政治部机关。
三天后，即4月12日，新成立的淞沪戒严司令部正副司令白崇禧、周凤歧，在蒋密令下，以制止械斗为名，再度成功利用青红帮做前锋，在一天之内顺利地缴了纠察队在各处的武装。等到次日总工会组织示威游行、罢工罢市时，白崇禧等干脆下令军队开枪。失去了武汉工人凭借的上海共产党人，已然成为蒋的俎上肉了。
时至于此，蒋介石不能不公开打出反共的旗号了。4月15日，他正式发布《清党布告》，宣布了与共产党决裂的决定。蒋随即电令各军师长，立即拘捕“总政治部主任邓演达、副主任郭沫若及军政治部主任李富春、朱克靖、林祖涵、彭泽湘、廖乾五等以及在师团连各党代表及政治部指导员之跨党分子”。此后，被公开指名通缉的共产党人更达到近200多人，鲍罗廷、陈独秀首当其冲。