西北军在反蒋集团中兵力最强，悍将最多，战斗力自然稳坐头把交椅。但与晋绥军与桂系相比，西北军庞大身躯中充满了各式各样的矛盾和隐患，因此从中原大战爆发前蒋冯斗法开始，西北军这尊北方战神就像过河的泥菩萨一般，逐渐分崩瓦解。在这个过程中，既有外力引导，也有内患爆发，但最终根源还要从冯玉祥和西北军自身身上找。
“从此入山读书”
在四家国民党新军阀中，冯玉祥以第二集团军总司令兼开封政治分会主席，掌握陕西、甘肃、山东、河南四省地盘，拥兵42万，几乎能与蒋介石平起平坐，阎锡山的晋绥军与李宗仁的桂系兵力相加也只与冯玉祥相当，更何况西北军历来以善战闻名，其作战意志远不是蒋介石所部可比。
同时，冯玉祥在北洋时代翻云覆雨，几次阵前倒戈，也让蒋介石对这位桀骜不驯的“二路天王”心存戒备。北伐前蒋冯义结金兰，但无论是蒋还是冯，此前 对自己的结拜兄弟下手都毫无顾忌。所以蒋在北伐后迅速对盟兄开刀，首先在地盘分配上抬阎抑冯。最终阎锡山得京津卫戍司令，冯玉祥的第二集团军虽得以留驻南苑，但就是进不了北京城。这一下激得冯玉祥发冲冠之怒，将所部撤回山东河南，本人到新乡去生闷气。
1928年7月6日，蒋介石又在北京主持编遣座谈会，《军事善后案》《军事整理案》更让冯玉祥、阎锡山和李宗仁、白崇禧无法接受，四家谈崩不欢而散。一个月后蒋又在南京召开国民党二届五全大会，借粤籍中委支持，强行通过《军事整理案》。此时冯玉祥已经决定武力反击，他在西北紧急巡阅西北军，在五原誓师两周年时大搞纪念阅兵式。10月，蒋介石以冯玉祥身为行政院副院长兼军政部长，应该到南京任取，这等“调虎离山”之计自然骗不过冯玉祥。但国内舆论却被蒋介石调动，大喊“裁兵建国”，冯玉祥与其他几家军阀不得不到南京听候编遣。
后被蒋介石以重金买走
最终编遣会议未能谈拢，1929年3月蒋桂战争爆发，蒋介石在收拾了桂系后迅速转锋西北军，先在1929年5月5日以吴思豫接收济南，免去了孙良诚的山东省主席，西北军至此被挤出山东。眼看与蒋必有一战，冯玉祥为避免以长蛇阵在山东、河南、陕西和甘肃广大地区上应对蒋阎两头压力，断然在炸毁陇海路各段桥梁和武胜关隧道后撤出山东与河南。西北军人员全部退出南京政府，5月中旬，西北军在华阴召开军事会议，决定武力反蒋，16日，孙良诚等人通电推举冯玉祥为护党救国军“北路司令”。
可惜，冯这一仗败得太过迅速，蒋介石在湖北山东摆下36万余部队，又收买韩复榘、石友三、杨虎城、马鸿逵等人叛冯投蒋。5月23日，冯玉祥被永远开除出国民党，两天后蒋介石发电要求冯玉祥下野出国，交出兵权。5月27日，冯玉祥在无计可施之下通电下野，“从此入山读书”。最终冯玉祥为了保全西北军，在6月21日携夫人离陕赴晋，宣称转道出洋。
两次被阎老西忽悠
1929年8月1日，南京召集国民党执监委员和全国各地军方要员，举行了第二次军队编遣会议。规定各方应保留的军队数量一律压缩为7-9个师，但全国编成后的军队总数却由50个师增加至68个师。蒋介石用增加编遣区的办法削弱了地方军阀的兵力，增加了中央军的实力。
第二次编遣会议，激化了蒋介石与各派军阀的矛盾。8月6日，阎锡山向南京请示辞去山西省长一职，目的是为了试探南京的态度。8月10日，南京批准阎辞去本兼各职。阎锡山决定联合被自己软禁在建安村的冯玉祥反蒋。
8月15日，阎锡山亲自到建安村给冯玉祥赔礼道歉，之后两人一同游览五台山，冰释前嫌。10月10日
宋哲元、孙良诚通电反蒋，拥戴阎、冯为国民军总、副司令，冯玉祥在五台县建安村用电台遥控。10月26日，西北军和蒋军在豫西交火，蒋冯战争爆发。但阎锡山却在收了蒋介石的协饷之后按兵不动，西北军陷入蒋介石三倍兵力包围，宋哲元和孙良诚又彼此不和，自行其是，加上军饷困难，西北军被蒋介石打得大败，一路退守潼关。
此时西北军内部的矛盾因为冯玉祥离开而进一步发展。此前韩复榘、石友三叛冯，已经使得“其他将领虽然表面上对冯仍很恭顺，但内心里都有了自己的打算”。此次阎锡山扣留冯玉祥，让西北军对晋系往日的怨恨更增加了一层，普遍认为蒋介石是一时之敌，阎锡山是一生之仇。而且，阎锡山的地盘与冯玉祥所部在北方控制区域犬牙交错，不打败晋绥军，西北军只能龟缩在贫困地区没有发展，所以西北军内部开始酝酿反阎。