还在李宗仁、何应钦等待自己的谈判代表送来中共中央的和平协定之际，南京国防部就已经按照蒋介石的要求，秘密拟定“国军今后作战计划”，报蒋批准。计划以“确保广州与重庆两大陪都为目的，准备“首先沿浙赣路与湘桂路及其以南地区准备第二抵抗地带，并建立及巩固沿海口桥头阵地，相机转入攻势。”
“具体部署着重于加强青岛守军实力，意图以此为恢复华北之据点，并牵制解放军南下。另自崇明岛至广州湾各海口建立坚固据点工事，以台湾为补给总枢，支持浙赣路与湘桂路及其以南之各抵抗力量。”
“同时，胡宗南部与宋希濂部、罗广文部由汉中及其以南渐次集结，形成西南重心，以马步芳等部负责西北，逐渐捕捉战机，造成有利态势。”蒋介石得知谈判结果后，马上想到的是坚守上海，争取造成国际影响。
20 日，蒋亲自电示京沪警备总司令汤恩伯，要其死守上海高桥、江湾、殷行、吴淞、南翔、闸北六区，并以杨行、大场、彭浦三区为其外围。当然，他也清楚汤未必能够坚守半年以上，故特别指示道：万不得已“预备放弃各区之工事同时，须有彻底爆破之准备，勿使为匪所利用也”。
21 日，解放军大举渡江。何应钦主持行政院发表公报，指责中共“毫无谋和之诚意，而甘心破坏和平，扩大战乱，与国家人民为敌，已大白于天下。”
解放军渡江次日，蒋介石从溪口赶到杭州，召集李宗仁、何应钦、张群、吴忠信等，决议四项方针：“（一）关于共党问题，政府今后惟有坚持作战，为人民自由与国家独立奋斗到底。（二）政治方面，联合全国民主自由人士共同奋斗。（三）在军事方面，由何院长兼国防部长，统一陆海空军之指挥。（四）采取紧急有效步骤，以加强中国国民党之团结及党与政府之联系。
几天后，即 4 月 27 日，蒋介石公开出面发表告全国同胞书，态度强硬地声称：“现在共党匪军强渡长江，南京业已撤守，我爱国军民同胞八年血战，从日本军阀铁蹄之下光复的首都，为时未及四年，又沦陷在共产国际铁幕之中。”
由于败象尽显，还在北平和谈过程中，国民党大批军政骨干就已经开始争先恐后地与共产党联络，意图倒戈。
除浙江省主席陈仪秘密策动汤恩伯起义，事泄被捕，国民党革命委员会策动的南京卫戍部队和警察起义事被特务破坏外，驻守长江南岸芜湖至繁昌的一 O 六军二八二师、奉命开往江阴担任长江江防守备任务的“重庆”号巡洋舰、首都卫戍总司令部所属第四十五军第九十七师、原国防部预备干部局陆军预备干部训练第一总队等，均先后起义。
4 月 20 日夜，解放军长江下游渡江部队就已经突破国民党军江防，然后迅速推进。西段部队亦于 22 日占领安庆。东段国民党重兵防守的江阴要塞，于 22 日凌晨被中共地下组织从内部占领，要塞总台长等集合队伍宣布起义，国民党在整个长江下游的防线至此土崩瓦解。
23 日晚，解放军已经占领国民党政府的首都南京。5 月初，更占领江浙各重要城市，完成对上海的合围。随后借助于华中军政长官公署副司令长官兼河南省主席、第十九兵团司令官张轸的起义，以东北野战军组成的第四野战军也于 5 月中相继占领武汉三镇，夺取长江中游南岸的广大地区。
军事上已不可守，国民党中央内部政治上依旧你争我夺，互不相让。蒋介石为防止李宗仁再度干扰其政策，和谈刚一破裂，他就提议在国民党中央常务委员会下设立“非常委员会”，凡政府重大决策，必须先在此委员会获致协议，再由政府依法定程序实施。
李宗仁本来就忿忿于蒋介石幕后把住权力，自己全无施展空间，如今更不愿被蒋弄成傀儡，充当国民党失败的替罪羊。因此，身为代总统，他离开南京后却坚持不去广州，跑到自己起家的根据地桂林，躲了起来。
5 月 2 日，广州方面派居正、阎锡山和李文范三人前往劝驾，李直言相告：所以不愿来广州，原因有二：“（1） 过去三个月，军政经济大权均未能行使，今后若仍如此，安能负责？（2） 非常委员会由主座任主席，孙与李作副，认为无何作用，未便赞同。”
蒋介石对李宗仁的批评与抱怨自然一概否认。他除指责桂系白祟禧擅自“截留军械，阻止军队，甚至截留现金，不听调度外”，对下令将黄金、武器等运往台湾，下野后仍幕后任意指挥军事的事实也都振振有词。
让蒋介石万万没有想到的是，美援还没有等到，美国政府却于 7 月底发出美中关系白皮书，把导致共产党在中国胜利的责任完全推诿于蒋介石和国民党。蒋介石在事前即得知消息，紧急动员在美人员，劝告美方切勿给国民党雪上加霜。
国民党人很快发现，白皮书也有积极一面。外交部公开发表声明指出：中国政府对“美国政府对于吾人素所坚持之两个基本观点，已表示相同之意见”甚表欣慰。“其一为中国共产党乃彻底之马克思主义者，且为莫斯科之工具。其二为苏联确已破坏一九四五年中苏条约之条文与精神。”
然而，白皮书到底对蒋和国民党批评太多。为表现自尊，蒋还是在党内严辞驳斥白皮书，声称“美国对华白皮书的发表，为本党最大的耻辱，凡有良心血性者，莫不愤恨”。
他同时致电宋美龄和驻美大使顾维钧，说明：“美国务院现既发表白皮书，如其国会援华案未通过以前，我国不宜再向美政府要求其援华”。而事实上，蒋 8 月 9 日电告暂不向美国政府提出援助要求，8 月 15 日，其驻美大使就依据广州国民党政府的电示，向美国政府正式提交总额为 287 亿美元的军事援助的请求。
5 月 24 日，解放军攻克太原。三天后，又攻占上海。毛泽东随即指挥解放军第三野战军向福建推进；指挥第二野战军经营川、黔、康，指挥第四野战军进入湖南，占领两广，并以第一野战军进军甘肃、宁夏、青海，然后分兵两路，一路进军新疆，一路进军川北，与二野协同解决贵州、四川和西康。
在解放军各路大军的强有力进攻下，各地国民党军更加不堪一击。大批省区国民党军政长官宣告脱离国民党广州政府，先后实行起义。随着 8 月 4 日国民党长沙绥署主任程潜、第一兵团司令官陈明仁率部起义，解放军不费一枪一弹进入长沙，华南以至西南，已全部暴露在解放军的攻击矛头之下。
不出三月，白崇禧部大部就分别在湖南和广西被聚歼，广东、广西先后为解放军攻克。退往重庆和西南地区的国民党政府及其军队，也仅撑持到 12 月即告崩遗。除去退往台湾和沿海岛屿上的国民党军队以外，国民党在中国大陆大规模军事抵抗，至 1950 年 4 月即不复存在了。
1949 年 10 月 1 日，中国共产党在北京正式宣告成立新的中央政府，定国号为中华人民共和国，宣告废除中华民国的旧法统。到 1950 年 5 月，解放军又成功地夺取海南岛和舟山群岛。这样，除了台湾岛、澎湖列岛和浙江、福建沿海的个别小岛外，共产党已经解放整个中国大陆。