国民党的“清党”，并没有也不可能达到消灭共产党的目的。随着共产党人开始举起武装暴动的旗帜，国民党就不得不在各地疲于应付。因此，“清党”运动很快也就转变成持续的镇压行动。
整个“剿共”过程持续了十年之久，执政的国民党凭借其在政治、军事、外交和经济上的巨大优势，克服了内部纷争和外敌入侵的种种牵制，步步紧逼，几乎取得成功。
将近十年之后，除了在甘北荒僻之地共产党人还占据着一小块地方，于饥寒交迫中艰难地维持着一支几万人的部队以外，在全国绝大部分地区，已经看不到共产党人有组织活动的踪影。就国民党对共产党斗争的历史而言，这毫无疑问是其最成功的时候了。
从1928年起，在谭延?的主持下，南京国民政府开始着手制定和颁布刑法，其中包括主要针对共产党问题的刑事特别法《暂行反革命治罪条例》。该条例于1928年3月9日正式颁布，其中规定：任何意图颠覆中国国民党及国民政府，或破坏三民主义而起暴动者，或与外国缔结损失国家主权利益或土地之协定者，利用外力或外资勾结军队而破坏国民革命者，均得以处以死刑。
还规定：凡“宣传与三民主义不相容之主义及不利于国民革命之主张者，处二等及四等有期徒刑”等。这种把刑事罪与反革命目的联系起来加重惩罚，乃至于以思想意图作为定罪标准的做法，在中国近现代司法制度上，算得上开先河了。
除了颁行《暂行反革命治罪条例》，南京国民党中央这时还接连通过了《制止共产党阴谋案》和《防制共产党案》等几项专门针对共产党问题的重要决议案。而每逢红色节日，如“五一”劳动节、“八一”反帝日，包括广州起义纪念日等，国民党中央和相关省市，还会专门发布一些临时性的防共训令。
与此同时，南京政府还渐渐醒悟到抚的必要了。因此，注重法制建设的胡汉民等出洋考察后，几乎马上就主导颁布了《共产党人自首法》，还设立了反省院或感化院，专门用来关押和收容被认为有自首表现的共产党人。
国民党在1928－1930年的两三年里，对中共个别地方组织破坏较大，如对江西省委组织的再度破获，极大地破坏了南昌及九江的共产党组织，但对中共中央机关的破坏作用却不十分明显。
与国民党军政当局在地方接连破获共产党秘密领导机构的情况恰好相反，继1927年下半年“清党”运动和中共暴动的高潮过去之后，中共中央重要骨干被捕被杀的情况却日渐减少，而中共中央更是得以继续坐镇上海进行指挥。
它甚至还能够在巡捕房和国民党人的眼皮底下，举行具有相当规模的全国苏维埃代表会议和反帝大同盟会议等较大型会议。造成这种情况的一个很重要的原因，是因为当时国民党在上海等地用来对付共产党秘密工作的，主要还是公安局或警备司令部等机构，特别是在租界区，它更主要只能借助巡捕房的力量。
但是，这些机构工作性质复杂，不可能都集中精力来对付共产党。何况，在这段时间里，南京国民党中央的主要精力还要放在统一国民党各派力量的问题上，从蒋桂战争，到中原大战，大规模战争接连不断。以向忠发和李立三为首的中共中央，在1930年甚至紧锣密鼓地准备发动全国性的武装暴动，想要一举推翻南京国民党的统治。
随着中原大战宣告结束，中共和红军对南京国民政府的威胁就突显了出来，蒋介石和南京国民政府自然开始把相当多的精力迅速转过来对付共产党。这个时候，不仅调查科已经羽翼丰满，而且蒋介石还开始起用黄埔六期生戴笠来负责从军事角度收集情报。党政军几方面高度重视对付共产党的结果，不可避免地给共产党在中心城市中的组织机构，造成了巨大的破坏。仅在1931年间，国民党特务机关破获的涉及中共中央最高领导层的重大案件，就有5起之多。
1931年1月17日，国民党特务在上海东方大旅社破获共产党人的一个秘密集会，逮捕了包括何孟雄、李求实、胡也频、柔石等20多们共产党重要领导人，进而于2月7日将他们几乎全部处死。4月25日，中共中央政治局候补委员兼中央特科负责人顾顺章在武汉被捕。
顾的叛变造成了中共在上海国民党特务机关安插的重要线人杨登瀛等人被捕，以及中共重要领导人恽代英和蔡和森的被害。6月15日，共产国际执委会联络局派驻上海的负责人牛兰夫妇被捕。6月22日，中共中央总书记向忠发被捕，3天后被杀。等等。
这一系列的沉重打击，不仅使中共临时中央再难在上海立足，被迫退往江西中央苏区，而且随着上海和河北、陕西等省委各机关一再被破坏，中共城市工作的基础几乎已不复存在了。
值得注意的是，国民党这一阶段所以能够对中共城市工作屡屡成功地施以打击和毁灭，除了其特务机构日益健全和扩大之外，其更多改取鼓励自首和发表反共宣言的政策，凡自首者，不再轻易使用严刑拷打和杀戮的办法，也起了一定的作用。
所有这些宣言，都重复着几乎同样的意思，即共产主义和阶级斗争的办法，不适合中国；中国现在唯一的任务，是民族革命，取得民族独立，特别是摆脱日本帝国主义的侵略与压迫。据不完全统计，自1931年至1933年秋，不到3年的时间里，被捕自首的共产党人数为276人，平均每年不足100人。
国民党最具成效地捕获地下共产党人和破获其机关的时间，是从1933年秋至1934年秋，亦即红军南方根据地全面失败的时期。在不过一年时间里，各地共产党人被捕者即达4505人，据称，自首者竟达到4213人。这也足以见国民党这时的自首政策，对被捕的共产党人影响极大。