南京国民政府成立前夕，原拟召集国民党中央执行委员会全体会议来确立其法理地位，无奈附从南京的国民党中央执行委员不足法定人数。胡汉民乃建议另换名目，召开国民党中央政治会议来议决成立，因中央政治会议没有法定人数限制。1927年4月17日，南京接连召开中政会第73、74次会议，决议国民政府奠都南京，并于次日举行成立典礼，算是从法理上确立了南京国民政府的地位。按照国民党党章，中政会是无权改造和另立中央的。南京方面对此也十分了然，故声称是国民政府“迁都”南京。4月18日在成立典礼之后举行的庆祝大会，其名目即为“庆祝国民政府迁都南京与恢复党权”大会。这既表示并非另立，也意味着同时否认汉口的中央党部和国民政府。
在国民党“党统”上缺乏合法性的南京政府最终仍能立足，在很大程度上与其控扼了“党军”主力资源有关。通过北伐，蒋介石一举暴得大名，其个人声威倍增。中共中央谈到：“江西下后，国民政府已得了中国的一半，革命军胜利的声浪震撼全国，虽妇人孺子亦能举蒋介石之名并附会以许多神话。”当时普通民众多以为国民党政府是随着蒋介石走的：“他在广东，政府就在广东；他在南京，政府就在南京。”北方报纸舆论亦视蒋介石为南方政权和“党军”的象征性人物。南京高举“反共”旗帜，不仅借此团聚了国民党内外的保守势力，并对武汉阵营起着重要的分化作用，也由此而争取到列强的援助。当时舆论多认为武汉政府代表共产党的势力，南京政府代表国民党的势力。汪精卫在国民党中常会上介绍武汉政府所面临的外交困境时说：“帝国主义谓武汉无力量，甚至有谓武汉政府是俄国的，南京政府是中国的。”阎锡山对武汉政府特派员孔庚解释他倒向南京的原因时也声称：“据一般人的说法，武汉是共产党的政府，南京才是真正国民党的政府。”而且以为南京的国民党中央监察委员会比武汉的国民党中央执行委员会的权力大，因为“执行委员会作错了事，监察委员会可以取消”。
蒋介石清党反共不仅在共产党人心中埋下了刻骨仇恨的种子，也在激进青年知识分子心目中投下了恐怖的阴影。不过当时因有蔡元培、吴稚晖、李石曾等国民党元老兼名流学者直接参与发起了这场运动，为蒋介石清党反共和另立中央赢得了一定的社会道义基础。《现代评论》杂志当时发表文章指出：
南京政府的领袖人物，的确不止一个蒋介石，还有吴稚晖、蔡元培、李石曾一排人物。他们这几位老先生，就是烧成灰烬，谁也认识他们是中国国民党的领袖。政党是人造的，政策是人为的，无论如何，一个政党的中心人物，总要算是那一个政党的命脉。那末，汉口方面……如若还要在一般人的眼光中，证明他们是正统的国民党，除了积极的拥护三民主义以外，还得拉拢这几位老先生，叫他们作一点宣传。现在他们几位国民党的老前辈，不独不替汉口鼓吹，反做了南京政府的中心人物。在我们局外的人看起来，不能不觉得国民党的中心势力，在南京而不在汉口。
胡适也谈到，当时北京的一些青年大学生非常崇拜蔡元培等学者教授，他们不相信支持南京清党的蔡元培和吴敬恒也会做坏事。蒋介石在上海发动清党之际，胡适正由美返国。途经日本时，一位美国哈佛大学教授向他询问蒋介石清党真相。胡适告之曰：“蒋介石将军清党反共举动能得著一班元老的支持，你们外国朋友也许不认得吴敬恒、蔡元培是什么人，但我知道这几个人，很佩服他们的见识与人格。这个新政府能得到这一班元老的支持，是站得住的。”不过，当时到底有多少青年学生如胡适所说的那样，因为崇拜蔡元培、吴稚晖而认同蒋介石清党，也很难说。如号称与吴稚晖有忘年之交的青年曹聚仁即毫不客气地指责吴氏“助纣为虐”，是“社会革命的叛徒”。一向态度平和的周作人看到许多“青年朋友的横死”，而且大都不是死于战场，而是“死在所谓最正大的清党运动里”，感到南京新政权与北京旧政权并没有多少不同。《现代评论》则直接呼喊“不要杀了！”胡适本人在明了清党真相之后，对国民党的看法也逐渐发生了改变。
“四一二”政变之后，南京国民党中央着手阐释清党理论并建立统一的清党机构。1927年4月26日，南京中常会决议通令各级党部彻底实行清党，并同时发表宣言，解释清党意义。5月5日，南京中常会决定组织中央清党委员会，任命邓泽如、吴倚沧、曾养甫、何思源（何辞职，易为萧佛成）、段锡朋、冷欣、郑异为清党委员会委员，统一主持清党工作，并议决清党原则数条：（1）在清党时期停止入党；（2）所有党员必须经过3个月审查后，再发党证；（3）土豪劣绅、贪官污吏、投机分子、反动分子及一切腐化、恶化分子一律清除出党；（4）所有党员须每半个月向所属党部报告其工作，无故1月不报告者，予以警告，3月不报告者取消党员资格。5月7日，中央清党委员会正式成立。5月10日，中央清党委员会根据前述清党原则，拟定《清党条例》11条，提交国民党中常会通过。随后，中央清党委员会次第委派各省市清党委员，展开清党行动。为了区别于“四一二”前后各地发生的政变式清党，蒋介石称这次清党为“第二期清党”。他说：第一期清党为“紧急处分”，目的在于“打倒共产党领袖及其著名活动分子”；第二期清党为“根本整理”，其范围“遍及一般跨党分子”。
由于清党原则所定清党对象十分宽泛，加之所谓“腐化”、“恶化”的含义又十分模糊含混，给实际清党工作带来极大的困扰。国共合作之际，共产党在国民党内的党团组织活动是秘密进行的。除少数中共要人外，绝大多数跨党的中共党员和青年团员的身份并未公开。当蒋介石“清党”令下，除少数已暴露的“共党首要分子”外，要从号称百万国民党党员中分辨出谁是共产党，谁是“纯粹”的国民党员，实在不是一件容易的事。据张国焘回忆，陈立夫曾在抗战时期的一次会议上追述清党情形时谈到，清党时最大的困难，是分不清谁是共产党，谁又不是共产党，他于是想出一个办法，在各地召集国民党大会时，要左倾的站在左边，其余的站在右边，然后要他们相互打起来，这样站左边的受到了应得的惩罚。张国焘这段带有几分传奇色彩的忆述，竟在陈立夫晚年回忆录中得到了印证。陈在回忆录中写道：“吴倚沧、我哥哥和我最关心的是如何找出谁是共产党，因为，中国共产党从来没有将他们党员名单交给我们过，因此，我们根本没有办法分辨谁是共产党，谁是‘纯粹’的国民党员……我告诉吴倚沧，唯一可做的就是打斗，因为一打了起来，国民党和共产党两边的人自然就会分出鸿沟来。”
在蒋介石严令整肃“共党分子”，而“共党分子”又难以分辨的情形下，注定这场声势凶猛的清党运动不可避免地将扩大化。日本东洋文库保存下来的一份清党文件中记载，在广州的一次清党行动中，军警将凡是穿西装、中山装和学生服的，以及头发向后梳的，统统予以逮捕。由于这场清党主要不是通过“党力”进行的政治性清党，而是凭借武力展开的一场血腥的武装镇压，手握兵器的武人比文职的党人更暴戾，也更无节制。在上海，清党委员会由陈群、杨虎二人负责，国民党上海市党部无权过问。陈群将市党部的一名国民党“忠贞党员”张君毅捕去，市党部虽一再向警备司令部交涉亦无效。张君毅最终被杀害。当时在国民党上海市党部任组织秘书的吴开先亲历了上海清党时的纷乱情形。他事后向陈立夫言及“无辜人民之遭害者不计其数”，“言之至为痛心”。
在这场以清党为名的白色恐怖运动中，到底有多少人被捕被杀，自然不可能有精确的统计，而一般的估计又出入甚大。目前所见主要有以下几种不同的统计数字：
来自中共“六大”所作的不完全统计，1927年4月至1928年上半年，在“清党”名义下被杀害的有31万多人，其中共产党员2.6万余人。
来自当时全国各地慈善救济机关所作的不完全统计，在1927年4月至1928年7月间，全国各省被国民党逮捕和杀害的人数总计81055人，其中被杀害者40643人，被逮捕者40412人。
来自《大公报》比较笼统的说法，到1930年，已有数以十万计的人被杀害。
以上几种估计数字出入甚大，其准确性难以考辨。但有一点是可以肯定的，即在这场清洗运动中，被捕被杀的非共产党员人数远远超过了中共党员人数。
南京国民党中央所定的清党目标，除了共产党人外，也兼及“西山会议派”和国家主义派。实际上，清党打击的对象，远远越出了这一范围。除吴开先所言“不计其数”的“无辜人民”外，一大批国民党青年亦在这场运动中受到整肃。国民党江苏省党部即称：“清党运动发生以后，本党多数革命忠实分子却失其保障，随时有被土劣贪污构陷罗织之危险，其情形之悲惨，有如丧家之犬。”“丧家之犬”形象地描述了当时一批国民党中下层党员人人自危的心态和境遇。如果说第一期清党的武力滥化，是因为当局难以分辨打击对象，不得已而为之的话，第二期清党则几乎演变为一种当局失控的社会性行为。“共产分子”身份之模糊性与不易确定性，只会加剧这场运动的任意性和专断性。据当时报纸的密集报道，诬人为共，是最易置人于死地的“高招”。往日与人有隙者，诬人为共可以泄私恨；平常与人有利害冲突者，诬人为共可以除对手；甚至索婚不遂，亦借端诬人为共。言行稍有不慎，“红帽子”即有可能临头。
正是清党运动中普遍存在的投机、专断、任意、武力、强暴等，在重创共产党的同时，也对国民党自残不浅。除部分国民党青年与“共产党同归于尽”外，还有相当多的国民党员因清党而灰心、悲观失望，以至脱党。1928年江苏省党部举办国民党员总登记时，“党员对党灰心，不来登记者占十之三四，存观望登记者十之四五，因受反宣传不登记者十之二三。”同样，广州市登记的国民党员不及全市原有党员的10%,广东全省申请登记者亦不过原有党员总数的35%。在汉口，清党前有党员3万多人，登记时仅5000人。在长沙，清党前号称有党员19万，清党后仅剩下“合格党员”1526人。这1500多名“合格党员”中，“农工两界寥寥无几”。清党前夕，国民党员总数号称100万，清党后，据1929年10月统计，减至65万。
减少的30多万党员中，最有可能是两部分人：一部分是思想急进的城市青年学生党员，一部分是基层农工党员。前者有可能被清洗，后者有可能因恐惧而自动脱党。实际上，被清除和自动脱党者可能还不止30万。因为在大批农工党员脱党和左派青年被清洗的同时，又有数以万计的“投机分子”涌入国民党内。例如四川全省清党后登记党员数逾10万，是清党前该省党员人数的数倍。河北经过清党，党员数量，“竟以不过六千同志的数目而拉到二万七千之多”。
当时国民党内有人评曰：国民党“军事上虽得胜利，政治上却糟得不堪，土豪劣绅、投机分子潜形混入本党，冒充党员借词诬害忠实同志比比皆是。武汉赤化，固属事实，而宁方腐化亦无可为讳。”“民众对于本党的信仰，在这时间，可算剥蚀尽净！”
对国民党而言，清党运动实际上是一场党内人才逆淘汰运动。一批对革命有信仰、有理想和有热情的党员受清洗，有的因致力于农工运动而被当作共产党惨遭杀害。如浙江豪绅地主“借清党之名，谬指各地之宣传主张减租者为共产党员，向各机关告发。各机关于接受告诉之后，大事搜捕，至无辜受累者难以数计”。这等于提醒那些尚留在国民党内的成员，不要再以激进的方法来解决社会和经济问题。另一方面，那些借党为私的投机腐化分子和土豪劣绅群相涌入或原封不动地留在党内。国民党江苏省党部在清党报告中写道：“反革命之势稍杀，不革命之势代兴。土豪借名清党，实施报复而图复燃。共党要犯逸走，忠实遭污，清浊不分，是非颠倒。意志薄弱者视革命为畏途，感情热烈者，伤本党之无望，而投机腐化，纷至沓来”，从而导致“党德沦亡”，“党权日坠”，“党机毁灭”，“民众对党的信仰全失”。8月22日，白崇禧在军事委员会纪念周发表演说指出：“此次清党后，即发生许多以党营私之假革命党，尤其在上海一隅，更加其甚，借清党之名，奸人妻子，掳人财物，敲诈剥削，随便杀人，以致人民怨声载道。上海是舆论中心，故民众对本党已渐失信仰。”蒋介石也承认：“清党时期，倏逾半年，共产党之逆迹固已大暴国中，本党之精神亦日见湮没。”
清党的另一严重后果，是国民党的地方组织遭到极大破坏。国共合作时期，国民党省以下地方党务多由共产党人“包办”。清党一起，国民党的地方组织首当其冲，很快陷入瘫痪状态。当时《中央日报》报道：“几个月来，党务受了不少的摧折……各地的党务今日改弦，明日更张，停顿的停顿，攘夺的攘夺，完全沉入于阴晦悲观的景象中。”在地方党部中，省市党部居于举足轻重的地位。清党一起，原由共产党人控制的一些省市党部职位也就成了国民党各派觊觎的目标。为了打倒政敌，各派之间互相攻击对方为共产党。昨日刚以“共产分子”罪名置对手于死地者，今日又可能被其他的竞争对手以同样的手段打下去，你争我夺，互相倾轧，弄成循环报复的局面。
清党以前，国民党将自身组织的涣散归咎于共产党在国民党内分化所致，孰料清党以后，纠纷有增无减。“在未分共以前的计划，只想把党的精神、党的组织权力作一整个的振刷运动。谁知分共以后，党的纠纷更多，党的威信尤见低落。”“自从清党以后……党的组织反日益涣散，党员不受党的支配，不受纪律的制裁……因之党的组织乃愈来愈涣散而几乎看不见党的整个行动和整个意志的表现。”“清党以后，共产党固然清了出去，但是党的纪律也似乎清除了。”
与省党部相比，县以下基层组织和党员受到清党运动的冲击似乎更大。国共合作时期，国民党员多不愿下基层，基层组织多由共产党人主持。清党后，形势发生逆转，除极少数地方的县以下基层组织仍掌握在国民党左派和共产党人手中外，多数县以下基层组织成为土豪劣绅的天下。国民党在大城市主要依靠军队清党，而在省城以下的广大乡村社会，土豪劣绅自发成为清党的主力。清党为土豪劣绅提供了恢复其旧有权势地位并进而侵夺国民党党权的一次良机。《中央日报》社论写道：“清党达到我们目的了，但苏皖闽浙各地，土豪劣绅也乘时蠢起，捏词诬告本党青年忠实同志为C.P.,从事农工运动者为共党……忠实同志致遭残杀的到处皆是，信仰不坚被金钱软化堕落的更多。”在四川，清党前各地办党人员大多为“共党少年”；清党后，国民党四川省党部委派各县的团总或团练局长去填充“共党少年”被清洗后所留下的空缺。这些团总和团练局长均为土豪劣绅。他们“打着清共招牌，乘机混迹党部，陷害忠实同志，收买流氓地痞，实行招募党员，以造势力。”在广东，“各县市党部自清党后，差不多都被不明党义党纪的腐化分子所包办，而且他们极尽其毒辣阴狠，排除异己的能事去诬陷忠实同志，弄到各县市执委几乎多于党员，如革命空气非常紧张的琼崖等处的县市党部，听说只剩下了寥寥无几的党员。不消说，党务亦陷入停顿的现象了。”在江苏，“从清党后，八九个月来党的工作，差不多仅有很少数的健全下级党部，仅见到很少数的忠实而努力的同志，民众对党的信仰很微细，党领导民众的能力薄弱，甚至离开民众，甚至为民众厌弃，甚至做出危害民众的情事……有的借办党以渔利，有的借办党去争权利，去拉地位，甚至去勾结官吏，包揽词讼，欺侮民众，一般人批评党部几几乎变成衙门，热心的革命党员几几乎都变成新的土豪和新的劣绅。”土豪劣绅的重新崛起，并对国民党基层党权的侵夺，使一个曾以“扶助农工”为职志的国民党迅速向一个新的军绅政权蜕变。
对国民党中央而言，土豪劣绅和投机腐化分子对基层党权的侵夺，显然非其发动清党的初衷。南京政权建立后，蒋介石面临的一个最大难题是“党权付托不到相当的人”。因为共产党被清除后，国民党内“明了党义而能专心于党务者极少”。蒋介石指责说：清党后，“各级党部的职员大部未曾受过训练，不明白党，不明白社会、国家、世界大势”，党员“犹之乌合之众”。当时各省市党部给南京国民党中央的报告中，也大呼党务人才奇缺。在地方党权托付无人的情况下，国民党中央唯有听任土豪劣绅和投机腐化分子侵夺和分掠地方权力资源，在地方社会借党为恶。另一方面，蒋介石鉴于清党后国民党“党力”的严重虚脱和裂变涣散，更进而倚赖其武力的支撑，将军事力量直接转化为政治和社会的组织力量。
南京政府成立后，两广、贵州、四川均声明拥护。这样一来，南京政府的势力范围包括江苏、浙江、福建、广东、广西、安徽（部分）、江西（部分）、贵州、四川等省，比武汉政府所控制的地域要大得多。从军事上看，南京蒋介石集团拥有约15万人的军队，川军还有约10万人的军队，而武汉政府的兵力总数仅10万。而且与蒋介石对军队的直接控制相比，武汉政府的军队主要控制在并不十分可靠的唐生智之手。财政方面，对上海和广州的控制，使南京政权处于有利的地位。上海的银行总计向蒋介石提供了2000万元的货款。故当时共产国际代表罗易承认：“分裂暂时使蒋介石在各个方面都变得比武汉更强大了。”
宁汉分裂后，天津《大公报》的社评对宁汉之争的性质及互动策略评述说：宁汉之争，内容十分复杂，“盖一方为国共之争，一方为文武之争，一方又为中央执行委员与监察委员之争。按宁方专标榜反共，而反对蒋者不全为共派；武汉专言讨蒋，而反对武汉之设施者，绝不仅为蒋。宁方明知反蒋者之不仅为共，但除徐谦、邓演达外，对其他之人，绝不攻击……又汉方明知反武汉者，不仅为蒋，但只攻蒋一人，而不及其他……故由局外观察，双方皆避实击虚，俱不彻底。又自国民党之纪律言，蒋无法否认中央执行（委员）会之威权，而中央执行（委员）会亦不能置监察（委）员之纠弹于不理。现在南京不能开中央执行（委员）会，仅以旧政治委员会处理一切，于法律上立脚不稳；而武汉命令讨蒋，即对于监察委员之纠弹，一字不提，则亦有站不住之处。”
《大公报》的社评还认为，民国以来的中国政治大势，可以归结为“文武主从之争”。辛亥革命本是文人革命，但随后袁世凯凭借北洋军与孙中山所凭借的国会相较量，最终演化为武主文从的局面。而孙中山于1924年改组国民党，集大权于以文人为核心的中央执行委员会，并借苏俄“赤军”经验建“党军”，以党权制约军权，意在恢复文主武从的政治。但这局面未能维持多久，北伐开始后，军权随着北伐的迅猛推进而急速蹿升，又形成蒋介石借“党军”坐大的局面。南昌与武汉“迁都之争”实即军权与党权之争，也是军权与党权的首次公开较量。宁汉分裂后，军权与党权最终分庭抗礼。《大公报》认为，南方的党权与军权之争，实际仍是文武之争。对宁汉之争具有文武之争的性质，当时南方党人内部亦有相似的看法。蒋介石发动“四一二”政变时，当时尚站在武汉一方的宋子文，最初的反应就是觉得文人被武人制裁了。他亲口对一位来华的美国哈佛大学教授说：“国民革命的主旨是以党治军，就是以文人制裁武人。现在都完了！文人制裁武人的局面全被推翻了。”
宁汉分裂后，武汉方面有东征讨蒋之议，退守江北的孙传芳亦有南犯之势。蒋介石考虑到武汉方面被奉军压迫，估计近期不会东下，乃决定对武汉暂取守势，先扫清江北的北洋军阀，打下徐州、济南后，再回来同武汉作战。5月18日，南京北伐军克复滁县，21日克复蚌埠，23日克复扬州，6月2日克复徐州。
在宁汉对立的形势下，北方冯玉祥、阎锡山的态度颇为各方所瞩目。6月10日，武汉方面汪精卫、徐谦、谭延闿、顾孟余、孙科等赴郑州与冯玉祥举行会议，试图拉拢冯。6月14日，蒋介石筹划军事局势，拟有两策：“如冯（玉祥）能坐镇武汉，阎（锡山）能出兵京津，则我军可占济南，此一策也；否则，冯联共以谋我，阎如出洛（阳），张（作霖）如出郑（州），则我军应出武汉以捣其巢穴；若冯不联共，阎不入京，我军能以小部占胶济路更妥，或以小部守临城、沂州一线，以主力集结于蚌埠、徐州、临城、临淮、浦口一带，以观变化。”从这一筹划可以看出，此时蒋介石对冯玉祥的倾向尚捉摸不定。但两天之后，刚刚与武汉派要人会晤于郑州的冯玉祥，竟主动约蒋介石相会。喜出望外的蒋介石乃将自己的计划全盘电致冯玉祥：“取消武汉政府，以阎取京（北京），革命军取鲁，冯氏取汉。"6月17日，蒋介石抵徐州。19日，冯玉祥抵徐州。20日至21日，双方在徐州举行会议，相约联手北伐，并于21日联名发表通电。会后，蒋介石十分欣慰地说：徐州会议是南京国民政府成败存亡的关键，从此“中国的政治重心，在南京国民政府”。24日，南京召开中央政治会议，任命已于6月初宣布易帜的阎锡山为北方总司令。至此，北方之冯、阎完全倒向南京。
按蒋介石的原定计划，北伐占领徐州后，即回师解决武汉。而蒋介石部下将领多主张乘胜北进，先定北方，再图武汉。但蒋决意抽兵南下对付武汉，并希望冯玉祥与之联手，以达到取消武汉政府之目的。但冯玉祥主张先完成北伐，将政府问题暂搁置起来。蒋介石《事略稿本》7月11日记：“冯电公，促速北伐，以调兵回宁为非，而于武汉，则并未提处置与责备；又公前嘱其缓出洛阳，以资夹击，闻竟以此电出示共方。公谓吾不知其何意。”次日，冯玉祥致电宁、汉两方，要求双方化除意见，联合北伐，并申言“凡有妨碍北伐者，即是反革命”。蒋介石获悉冯玉祥对武汉的绥靖态度后，有些不满。他致电在洛阳的孔祥熙，请他劝告冯玉祥“以严正态度对武汉作最后之忠告，如其不从，则应直取武汉。”
冯玉祥有意在宁汉之间居调人地位。他明确告诉孔祥熙：“因种种关系，我不能攻武汉。"7月14日，冯玉祥会同徐谦、孔祥熙，通电劝告宁汉双方停止军事行动，并提议在开封召集紧急会议，“所有本党领袖，除共产党跨党者外，宜共同集合，专讨论党的问题”，“会议所公认负咎之人均服从决议，各自下野。“7月15日，武汉国民党中央实行分共，但对蒋介石的态度依然强硬，甚至说“宁流血，不妥协；宁赤化，不软化”。16日，蒋介石获悉“武汉兵东下益亟”，18日又接冯玉祥电，称“武汉剑拔弩张，非言词所能制”，请南京方面指示方略。南京方面以胡汉民、吴稚晖、钮永建等人的名义复电冯玉祥，要冯转告汪精卫停止东征，如能“幡然携手尤善”。22日，冯玉祥致电宁、汉两方，提出四点意见：（1）武汉所定分离共产党，解除鲍罗廷职，应请明令宣示；（2）统一国民党中央，或政府迁宁，或设南京政治分会；（3）各领袖先在开封开预备会，决定此次党潮，孰应下野，孰应继任，由第四次中央全会任免；（4）未解决前，双方停止军事行动，以赣皖为缓冲地。
7月24日，武汉方面汪精卫、谭延闿、唐生智、孙科联名复电冯玉祥：（1）分共及解除鲍罗廷职，均已实行；（2）迁都南京，中央早已决定；（3）中央会议须在国民政府所在地召开；（4）如有和平统一方法，自不必出于一战。但汪精卫又强调：“中央党部及政府之统系，不可失坠，此必以死争。”与此同时，唐生智暗地里派遣私人代表赴南京，向南京方面表示决不参加攻宁军事，并提出两个交换条件，一是鄂、赣两省归其范围，二是每月补助300万元。蒋、胡表示，条件可商办，但要求唐生智答复对武汉政府的处置办法。
7月24日，徐州又为直鲁军攻陷，南京北伐军全线动摇，纷纷自鲁南撤退。李宗仁等建议退守淮河南岸天险，待武汉局势澄清，再图规复。但蒋介石力主及时夺回徐州，并决定亲自率部反攻。蒋当日致电冯玉祥说：“徐州为我两军联络枢纽，亟应克复，弟定明日往前线督战，望兄亦派得力部队向徐州夹击。"25日又致电李济深，谓对汉只可暂取守势，待克复徐州后，再行进取。26日，蒋再致电冯玉祥，请冯制止武汉军队东下，并要求冯玉祥派得力部队协助攻徐，谓：“以现局论之，宁失宁粤，不愿委弃徐州，以断我两军之联络。”允诺待徐州克复后，由冯玉祥部队接防镇守。27日，蒋介石在日记中表示，冯玉祥有5万部队驻屯在信阳、襄阳，随时可以南下对付武汉，使武汉不敢东下攻宁，认为冯“攻汉联宁态度近益明了”，甚感欣慰。未料次日蒋又获悉冯玉祥与武汉通电时对武汉称“中央政府”，十分恼怒，认为冯玉祥的做法“殊失体统，军人岂能执持两端乎？!”
蒋介石亲自督战，本以为克复徐州如瓮中捉鳖，稳操胜券，未料直鲁军诱敌深入之后，突然发起反攻。8月2日，蒋军大败。蒋反省其失败之因有四：轻敌骄急，一也；交通不完，补充不齐，二也；部队尚未各就各位，就先定攻击日期，三也；亲自到前线督战，致使各方军事政治不能兼顾，四也。8月3日，蒋自悔用兵不当，向南京国民政府电请处分，谓：“此次攻徐不克，丧师失地，辱职待罪，务请从重处治，以伸法纪。”自8月5日至18日，宁方部队从徐州至浦口，溃退七百余里，成为北伐以来最大的一次败绩。
对南京而言，武汉既已分共，觉得自己在反共这一点上已占得先机，也占得了面子，不妨礼让一步。8月2日，南京方面由胡汉民、钮永建、吴稚晖、李烈钧联名电冯，声称只要汪精卫践履他先前的承诺，在南京召开四中全会，则汉方之重要分子来宁执柄大政，亦所欢迎。对武汉而言，反共已经输给了南京，维持中央的“党统”地位乃成了最后的一道底线。不过汪精卫也认识到，既与共产党破裂，势非与南京提携，将无以自存。中共8月1日发动南昌起义后，武汉方面更感到危急万状。3日，汪精卫、谭延闿、唐生智、孙科、程潜、朱培德联名致电冯玉祥，表示同意召开中央执监委员大会。汪精卫并声称，如宁方果能尊重中央，则他个人之进退，无关轻重。
宁方内部，桂系与蒋介石关系本不融洽。据蒋介石《事略稿本》记：白崇禧曾于6月10日电蒋，直言指责蒋氏独裁。蒋接电后，连呼咄咄不止，慨曰：“于党事未过问，犹疑我独裁，人心如此，政局如彼，不知何以善其后也。”在对待武汉政府的态度上，桂系李宗仁、白崇禧亦不同意蒋介石的激烈做法，表示只要武汉反共，于愿已足，不愿同室操戈，自相残杀。蒋介石反攻徐州失利后，又将战略重心转向对汉，重新拟定对汉作战计划，并致电冯玉祥，请冯联手出兵从速解决武汉。8月5日，获悉中共发动南昌起义，第4军、第11军相继脱离武汉政权，蒋介石幸灾乐祸地说：“伪党崩溃之期不远矣。”
8月6日，蒋介石返南京。7日，冯玉祥电蒋，转告汪精卫愿意来宁合作。蒋复电表示同意。8日，李宗仁领衔致电汪精卫与谭延闿，声称读了8月3日汪精卫等人致冯玉祥的电报后“喜极而涕”，申言共产党既已退出，则国民党“只有整个善后，并无两派争执”，当前大计在于北伐，要求武汉方面及早到南京召开中央全会。该电联署人排名，白崇禧、何应钦、蒋介石分别排在第二、三、四位，意味着电报表达的意见，主要是桂系李、白的主张。桂系与武汉暗通款曲，蒋介石自有察觉。据《事略稿本》记：是日，蒋介石决定今后采取“和汉对奉”政策，但又获悉汪精卫玩弄两面手法，一面通过冯玉祥求和，一面又暗中运动李宗仁倒蒋，大骂汪精卫“诚非人类也”。
8月10日，汪精卫等复电李宗仁，重申武汉的中央党部和国民政府为“党国之最高机关”，但表示可以通过中央全会解决“个人责任”、“机关改组”及“统一全国之政府”等问题。11日，南京召开中央政治会议与军事委员会议，研究对汉策略。与会各方意见不一，“军人主张缓和，文人主张待时”。12日，又召开中央执监委员联席会议。会上，何应钦与李宗仁力主与武汉遣使议和。李宗仁等认为，只要蒋介石去职，即可消除宁、汉合作的障碍，因而压迫蒋辞职。此际正值蒋介石刚刚受挫徐州，声威有折。蒋表示：“余惟有以中央执监委员会之主张为依归”，愿与中央执监委员同进退。李宗仁与白崇禧当面讥讽说：“总司令应大权独断，何以须随执监委为进退？”散会后，李宗仁与白崇禧又嘱人前去质问蒋，逼蒋“自决出处，以避目标”。蒋介石感到桂系实在欺人太甚，极度愤慨之下，想一举解决桂系。他分析，宁沪驻军都是他的嫡系第1军，要消灭桂系的驻沪部队并非难事；但他思虑再三，还是决计引退，以免“贻萁豆相煎之诮，重蹈太平天国之覆辙”。当晚12时，蒋离宁赴沪。中途过苏州时，访张静江，报告经过，张氏主张和桂系“决斗”。至上海后，蒋又访宋庆龄，并与吴稚晖、黄郛、张静江等人商议对策。宋庆龄劝他辞职出洋，黄郛亦劝退甚坚，张、吴则力主勿退，谓虽至决裂，亦在所不恤。蒋担心与桂系决裂，将给共产党造机会，最终还是决计引退。8月15日，蒋介石正式发表辞职下野宣言。下野后，蒋反思自己此次失败的原因有三：一是“组织不完，系统不明，用人不慎，分子复杂”，二是“军事时期而兼行训政宪政”，三是“攻鲁策略不定”。自认为“对人忽略，对事大意，客气浮急，谦让而不强毅，所以失败也。"9月28日，蒋介石赴日考察。
蒋介石下野后，胡汉民、张静江、蔡元培、吴稚晖、李石曾、黄郛等亦相继宣布辞职。南京方面一时群龙无首。孙传芳乘机反攻。江北很快为孙军占领。武汉东征军亦于8月21日占领安庆。面对两面受敌的形势，桂系与何应钦的部队不得不合力支撑危局。上海方面，由白崇禧出任上海卫戍司令，并以白的参谋长张定璠为上海市长。8月22日，白崇禧公开发表谈话，严厉指责蒋介石所领导的“第二期清党”不得民心。负责上海清党的杨虎、陈群见势不佳，溜之大吉。
蒋介石下野后，宁汉合流的进程加快。8月15日，李济深、黄绍竑电请武汉政府即行迁宁。16日，李宗仁再电汪精卫，请其中止东下之师，并派胡宗铎赴汉口迎接汪、谭等武汉方面要人到南京“柄政”。17日，武汉国民党中央政治委员会召开第47次会议，汪精卫提出，南京政府已经停止办公，事实上已不存在，建议迁都南京。19日，武汉国民党中央常务委员会举行第25次扩大会议，正式通过迁都宣言，并撤销对蒋介石、胡汉民、吴稚晖、蔡元培、张静江等人开除党籍的处分。会后，汪精卫、谭延闿邀李宗仁赴九江商议具体合作办法。22日晚，李宗仁与汉方中委汪精卫、谭延闿、孙科、陈公博、唐生智、朱培德、程潜等在九江举行会议。李表示欢迎汪等赴南京组织政府，但希望汪能发表一项与南京合作的宣言。汪表示一切问题等至南京召开二届四中全会解决。经过讨论，双方达成协议：武汉政府于9月3日以前迁往南京，与南京政府合而为一；9月15日召开二届四中全会。为了使宁方军队放心，谭延闿、孙科于23日偕李宗仁东下，汪精卫等其他汉方中委继续留在九江，准备东迁。至此，宁汉两方初步达成谅解。
在宁汉酝酿合流的过程中，上海的“西山会议派”亦试图与宁汉两方谋求合作。当蒋介石尚在筹划清党时，上海“西山会议派”曾主动表示愿意与之合作清党，但是时蒋介石基于种种考虑，认为尚不宜取消“打倒西山会议派”口号。故“四一二”上海清党时，“西山会议派”在上海环龙路44号之中央党部亦同时被查封。直至5月25日蒋介石对黄埔同学会发表讲话时，才公开表示“西山会议派”这个称呼是中共造出来的，“打倒西山会议派”这个口号也是中共提出来的，申言“西山会议派”并非个个都落伍。6月6日，南京中央政治会议主席胡汉民于中央党部纪念周上正式宣布，以后不容再有“打倒西山会议派”的口号。次日，南京国民党中央常务委员及各部部长联席会议，决议恢复“西山会议派”诸人的国民党党籍。“西山会议派”亦召开中央执行委员会临时会议，同意与南京中央协议统一，并推举张继、覃振、刘积学三人为接洽委员，负责与南京方面联络协商。随后，宁、沪两方之中央执监委员往返相商党务统一办法，双方同意“举出同等人数筹备第三届全国代表大会”。
武汉分共后，“西山会议派”又主动与汪精卫集团联系。8月初，许崇智派人到汉口见汪。汪随即复函许崇智，提出两点意见：汉沪双方先开预备会，充分交换意见；汉方召开二届四中全会，请沪方派同志参加。“西山会议派”同意开预备会，但不同意汉方召开四中全会。汪精卫则坚持只能接受“西山会议派”的个人，而不能容纳“西山会议派”的整个机关。
在与宁、沪交涉过程中，汪精卫为首的武汉派处处以国民党“正统”自居。宁、沪两方对此十分反感。“西山会议派”申言：“同属一家，无正统与非正统之可争；先后反共，更无谁胜谁负之可夸。”蒋介石下野后，“西山会议派”也要求汪精卫下野。南京所属的江浙地方党部群起附和，指责汪精卫“早已自绝于国人，信用人格，两俱丧失”，要汪即日下野，以谢党国。
9月5日，汪精卫、顾孟余、徐谦、陈公博、朱培德等汉方要人抵达南京。桂系不愿汉方以胜利者姿态接收南京，故而一面表示欢迎，一面又在南京街头遍贴反汪标语，使汪难堪。李宗仁还提出，若在南京召开二届四中全会及组织政府，必须邀请宁方已离职赴沪的委员胡汉民、吴稚晖、蔡元培、张静江、李石曾等回宁参加。汪等表示同意。为了表示“诚意”，汪精卫等汉方委员于9月9日亲往上海“劝驾”。
9月11日，宁、汉、沪三方代表在上海举行谈话会。会上，汪精卫坚持在南京召开二届四中全会来解决党内一切纠纷。但宁、沪两方均反对召集此项会议。因宁方否认1927年3月间在武汉召开的二届三中全会，认为此会是在中共“劫持”下召开的，自无继此“非法”的三中全会之后再开四中全会之理；沪方“西山会议派”则不仅否认二届三中全会，连广州“二大”和二届中委亦不愿承认，最低限度亦须“粤二届”与“沪二届”各举同等人数筹备召开国民党“三大”。如照汪的提议召开四中全会，则“西山会议派”诸人均非武汉方面所承认的二届中央委员，势将被摒除于会外。为了打破僵局，孙科提出一项折衷办法，即避开党统、法统之争，暂时由宁、汉、沪三方共同组织一个过渡性的中央最高权力机构，代行中央执行委员会的职权，先使合作告成，再图补救办法。孙科的提议得到宁、沪两方的赞同，汪精卫也未表示反对。于是三方共同商定：
由宁、汉、沪三方共同推定若干人组织中央特别委员会，代行中央执行委员会职权，负责宁、汉两政府的合并、改组以及决定中央党部各部长人选，负责统一各地方之国民党党部，并负责于3个月内筹备召开第三次全国代表大会。
9月12日，三方共推出特别委员会委员32人，候补委员9人。汉方推出之特别委员为谭延闿、孙科、何香凝、于右任、朱培德、程潜，候补委员为顾孟余、陈公博、甘乃光。宁方推出之特别委员为李宗仁、李石曾、蔡元培、王伯群、伍朝枢、李烈钧，候补委员为褚民谊、缪斌、叶楚伧。沪方推出之特别委员为林森、许崇智、居正、谢持、覃振、邹鲁，候补委员为茅祖权、刘积学、傅汝霖。宁、汉、沪三方共同推出的特别委员为汪精卫、胡汉民、张继、吴稚晖、戴季陶、张静江、蒋介石、唐生智、冯玉祥、阎锡山、杨树庄、李济深、何应钦、白崇禧。
中央特别委员会的成立及国民政府的改组，表面上结束了宁、汉、沪三足鼎立的局面，暂时整合了自“西山会议”以来分崩离析的国民党中央。但中央特别委员会本身存在着无法克服的矛盾：一是该会在国民党党章中没有法理依据，二是宁方实力委员和元老委员不予支持，三是汉方汪精卫等极力反对。在这种情形下，特别委员会不仅未能发挥其领导职能，反而使党内纠纷和冲突更趋复杂化。
组织中央特别委员会，不仅意味着否定了汪精卫召开二届四中全会的主张，也意味着否定了汉方的正统地位。汪精卫最初未以为意，故未执意反对，后经陈公博提醒，才恍然大悟。9月13日，汪精卫召集汉方委员谭延闿、孙科、朱培德、顾孟余、陈公博等秘密协商，讨论对特别委员会的态度。谭延闿、孙科力陈舍此别无他途，陈公博、顾孟余则坚决反对。汪精卫感到事已无法挽回，决定消极抵制，于当夜潜赴九江，行前发表通电，表示因对共产党防制过迟，应先补过，故而宣布“引退”。随后，顾孟余、陈公博、徐谦等亦相继发表“引退”文电，抵制特别委员会。
特别委员会虽不顾汪等之抵制而成立，但反对特别委员会的声浪亦随之而起。苏、浙、南京等省市党部表示不承认特别委员会的领导地位，其反对矛头多指向特别委员会内之“西山会议派”。“西山会议派”在中央特别委员会中分据要津，而该派在政治立场和人脉关系上，素与胡汉民接近，因此中央特别委员会的幕后支柱实系隐居上海的胡汉民。原来寄希望在蒋介石下野后便可重操中央大权的汪精卫，在特别委员会中仅获得几个委员空衔，未免大失所望。他在极度“痛心”之余，暗地策动唐生智和张发奎，企图从湖北、广东两地分头起兵，用武力对抗特别委员会。
唐生智本有控制湘、鄂、皖之个人野心。宁汉议和期间，他趁机整顿后方，解决两湖境内几支非唐系武装力量，完全控制了两湖地区。为了与控制特别委员会的桂系相抗衡，唐生智需要利用汪精卫的招牌以壮自己的政治声势。汪、唐于是在反对特别委员会这一点上气味相投，一拍即合。9月21日晚，两人商定成立武汉政治分会，控制湘、鄂、皖三省地盘，与南京特别委员会分庭抗礼。
桂系觊觎两湖亦久，对其竞争对手唐生智早有打击之意。谭延闿与唐生智之间有宿怨。在谭延闿的牵线下，桂系又策动程潜参加讨唐战争，允诺成功后，让程潜回湘主政。唐生智反对特别委员会，为桂系讨唐提供了一个很好的借口。10月20日，南京国民政府下令褫夺唐生智本兼各职，交军事委员会依法治罪，随即任命程潜为西征军总指挥，李宗仁为副总指挥，分由长江两岸进攻安徽唐军。唐军很快被击溃。11月11日，唐生智通电下野，乘轮赴日本。15日，南京国民政府下令通缉唐生智。在此之前，汪精卫已预感战事将不利于唐生智，于10月21日离开武汉，转赴广州。
汪精卫赴广州，是因为他的支持者张发奎在9月下旬已回到了广东。张发奎有意在广东为汪精卫谋得一块东山再起的地盘。汪精卫一面策动张发奎控制广东，一面支持唐生智出兵南京。10月7日，张发奎通电反对南京特别委员会，正式打出“拥汪护党”的旗号。10月29日，汪精卫到达广州。30日，汪精卫与陈公博、何香凝等联名发表通电，宣布克日在广州召开二届四中全会，并在广州成立中央执监委员通讯处，自居中枢“正统”，反对南京中央特别委员会。11月1日，在广州的国民党中央执行委员召开会议，通过三项决议：国民党中央执行委员会从速在广州履行最高机关职责；在广州另立国民政府；召开二届四中全会，解决一切争端。这样，汪派正式在广州树起了国民党中央的大旗，与南京中央相对抗。
当时在粤的国民党中委只有六七人。这些附从汪精卫的中委有两个共同特点：一是原为广州和武汉时代之国民党左派，二是多数为粤籍，故外间称之为“粤派委员”或“粤方委员”。
张发奎和汪精卫的回粤，对原在广东的李济深构成威胁。李济深既不赞成汪精卫在广州另立中央，也不希望汪精卫等人久居广东。李济深于是在宁粤之间斡旋，企图以召开四中全会为名，将汪派中委送出广州，然后再寻机解决张发奎部。经过李济深的居间调停，宁方同意召开四中全会。11月1日，宁方通电敦促粤、汉各方中委到南京召开二届四中全会。正在这时，因蒋介石策划联汪反桂，政治局面又为之一变。
11月8日，蒋介石自日本归国。蒋回国前，经宋子文居中联系，汪与蒋已达成谅解。10日，蒋介石电邀汪精卫赴沪共商召开四中全会预备会议事宜。汪鉴于蒋支持其反对特别委员会、恢复中央执行委员会的主张，乃决定放弃在粤开会的初衷，启程赴沪。赴沪前，汪精卫与张发奎策划了一个驱逐李济深、黄绍竑出广东的计划。11月16日，汪精卫以赴沪出席四中全会预备会议为名，挟李济深一同北上。李济深动身前，电召在广西的黄绍竑到粤，将广东军政大权交黄代理。17日晨，粤军张发奎、黄琪翔部发动兵变，将黄绍竑驻广州的桂系部队缴械。事变发生后，胡汉民、吴稚晖、李石曾、蔡元培、张静江等留居上海的一批国民党元老以及“西山会议派”、桂系等纷纷指责汪精卫与陈公博。粤变的责任未了，中共于12月11日在广州发动起义。中共暴动又为国民党内反汪派提供了一个打击汪派的借口，指责张、黄兵变与中共暴动均为汪、陈等粤派中委所促成。社会谴责舆论亦集矢于汪、陈等粤派中委。12月16日，南京国民政府下令查办汪精卫为首的粤派中委。汪精卫感到难以在国内立足，遂发表引退通电，乘轮去国。
在这场斗争中，蒋介石采取左右逢源的权谋之术，一面利用粤变之后“西山会议派”、元老派及桂系等对汪派之谴责与弹劾，将汪逼走海外；一面又利用汪派促开二届四中全会，搞垮“西山会议派”及中央特别委员会，从而坐收渔利。1927年12月28日中央特别委员会宣告结束。1928年1月9日，蒋介石在南京通电复国民革命军总司令职。