第一期“清党”，实为自3月以来各地靠打乱仗夺权之延续。南京政府成立，短期内无法整合各地各系统的党政军警各部门，对“清党”的范围、方法、要求也没有具有可操作性的文件规定，其乱象迭出，可想而知。
一方面，依靠突然袭击的办法，以夺取各地党政权力和打压共产党与左派国民党势力为主要目的的“清党”行动，很快就达到了预期的目标，继续延续此种做法已不大可能；另一方面，跨党分子及其左派国民党人，并非都是活跃人物。大家都在国民党内，并且过去许多言论观点又大体相近，“如何找出谁是共产党”并将其清除出去，就成了一件非常困难的事情。
由大规模武力“清党”，转向群众性的、以揭发、检举兼及政治审查为主要内容的“清党”运动，就成了一个必不可少的结果。但是，前一期的混乱和滥捕滥杀，已经造成了极大的思想冲击。很少有人不理解蒋介石及南京国民党领导人“清党”的核心目的，是出于维护其权力地位，从而保持其对国民党的绝对掌控的一种政治需要。
问题是，前一期的“清党”已经明显地暴露出一种极其危险的情况，即由于共产党人过去在基层的工作相当深入和广泛，又都是打着国民党的旗号，因此在许多地方，不仅工农学妇等群众组织中的活动分子大都与共产党人走得很近。就是国民党组织中人，往往也受到共产党人的影响。
“清党”行动不可避免地要殃及到这些人。而事实上，这些人中相当多数只是一些热血青年罢了，他们不仅不是共产党员，而且思想上也认同国民党的主张。如今，“清党”清到他们头上，一些地方的豪强势力遂乘机东山再起，甚至摇身变成国民党员；那些地方帮会势力，更是因为帮助蒋介石手下夺权有功，重又开始在地方上为所欲为。
包括一些地方军政要员，虽然没有公开批评“清党”弊病，但也不能听任自己管区内政出多头，特务政工恣意横行，滥捕滥杀，无法无天，造成社会持续不安。如制造了“四一二”事变的白崇禧、周凤岐即联名向蒋表示了对上海“清党”现状的强烈不满，要求加以规范。
事实上，蒋介石这时也已经发现前一段“清党”的弊病了。而黄埔军校学生因不满“清党”中的种种做法而接连不断的来信来电，对于身为校长的蒋介石尤其不会毫无作用。
黄埔军校，自蒋下令“彻底清党，不可再允共产分子在校”之后，于4月18日开始逮捕。凡“学生中平日言不正，思想不纯，思想不纯或经官长之考察，或经本人之自首，或经同学之举发而皆经多数同学公认者，计共剔除共产捣乱分子百七十余员，均于是日寄押于奉令来埔协助之中山兵舰附近”。
至5月初，前后连同校部及分驻各地之入伍生，“逮捕之员生约四百人之谱”。结果是许多黄埔学生大呼其冤。有学生甚至直截了当地写信给蒋介石，认为李济深“对黄埔学生特别残酷”，说李不过是利用“清党”排斥黄埔生及外省军队，暗中培植他的势力罢了。
结果，蒋不得不特别指示各方：“凡黄埔学生有共产嫌疑者，请交黄埔同学会审查，而后再定罪状”。对于“清党”所造成的种种恐怖，就连再三强调“清党，就是消灭中国共产党”的南京国民党中央政治会议主席胡汉民，也是摆首连连，大呼“清党”意义之大走样。
有鉴于此，南京国民党人不能不考虑开展第二期“清党”，全面规范各地行为。第二期“的清党”的作用，按照蒋介石的想法，就是要在已经打倒了共产党之后，求根本消弭之方。
第一期清党，自著名活动分子入手，此等人之罪状皆甚明显；第二期则须遍及一般跨党分子，其证据比较难得，办理稍有不慎，将增加人民之恐怖，而党务进行亦大受其影响。
1927年5月5日，南京国民党中央执行委员会常务委员会及各部长第八十八次联席会议正式通过的《清党委员原则六条》，决定要加强对党员质量的控制。不仅对所有党员都要经过三个月审查，尤其要在“清党”时期停止发展党员入党，以防不良分子乘机混入。
随即，中央清党委员会拟定了组织大纲和“清党”条例。一律明令规定8月底清查完竣，9月30日以前将各地审查结果报告中央。第二期清党，已将原本在第一期末受到打击的西山会议派及国家主义派公开排除出打击对象，所增加者，不过更强调要打击“土豪劣绅”和“贪官污吏”而已。
正是基于地方豪强秋后算账，导致了“清党”前积极投身工农运动者遭到打击报复的情况过于严重。“清党”运动之所以会诱发各种矛盾冲突，根本原因就在于它极大地刺激了各种势力之间以及人与人之间的争夺权力的欲望。
第二期“清党”发动，特别是为了进行政治审查停止地方党部活动的指令，再度引发了第三波权力洗牌。这是因为前两次权力更迭积累了太多的利益冲突和恩怨纠葛，许多上台未久的地方党部都因此而受到冲击。再加上因为军事上的关系，一些地方军队发生调动，新的军队往往又会因为“清党”等种种关系，卷入到地方矛盾中来，从而形成新的纠葛。
一些党部因扶助民众团体或利用前期的夺权和“清党”为所欲为，所造成的党政之间的矛盾冲突，自然也随之暴露无遗。何况，国民党省一级党与党之间，党与政之间，其实也多处在权力洗牌过程之中。
对各级清党委员会来说，最容易引起社会各界非议的，严格来说还不是其人员公正与否的问题，而是其几乎同样存在着滥捕滥杀的嫌疑。南京当局自然也清楚前此之滥捕滥杀造成恐怖，影响国民党威望损毁太大，因而也极力设法树立一种讲求法制和公平的形象。
为此，中央清党委员会成立不久就组织了中央和省的清党审判委员会。然而，南京国民党之“清党”，虽有统一机构指导，政出多门的情况并无改变，清党委员会远不能左右各地的“清党”行动，甚至连它自己的人也保护不了。
当然，捕杀清除共产党人，无疑还是第二期“清党”的中心所在。所不同者，一期“清党”时尚有监察委员会“和平待遇”的表面文章，而二期“清党”则高兴“消灭中国共产党”之大旗，再不避讳这个“杀”字了。
随着7月中旬武汉实行“分共”，进而于8月以后也开始实施“清党”行动，两湖地区及江西、河南、山西等省也先后实施“清党”。因“清党”范围的扩大，特别是因为原本被视为清除对象的武汉国民党人，以及只是形式上挂着国民党旗号的冯玉祥、阎锡山等地方军阀的加入，所带来的问题以及人们对“清党”运动所发生的不满，自然也就更多了。
由于武汉政府改弦更张，国民党内主张宁汉合流、重归统一的呼声骤然升起，蒋介石被迫于8月15日通电辞职，以示其决心促成统一之愿望。
而随着蒋介石坚辞下野，南京国民党中央人事大幅变动，“清党”运动据原案业已到期，故中央清党委员会及所属各地清党委员会，亦多半自行消解，或结束了工作。作为一种由南京国民党中央所发起和领导的政治运动，“清党”运动本身事实上就此已告一段落了。