阎锡山在反蒋联军中单项排名似不占优，军事实力不如兵强马壮的西北军，在国民政府中的地位不如桂系曾在北伐建立殊勋。唯一优势似乎仅有“山西老枢能聚财”一项。另外阎锡山参加辛亥革命较早，不过对国民党时叛时附，在党内名声较差。这样一个土财主式的人物为何能成为反蒋联军的主脑？
“三不二要一中”
晋系在国民党新军阀中崛起最早，1912年阎锡山攫取山西都督之位，随即开始构建自己的军事集团。他首先加强对晋军的军事教育，当年便以日本留学归国的赵戴文担任山西将校研究所所长，集中辛亥革命历次整编中编余的军官约100多人。随后又在1915年建立军事教育团，招收知识青年和军队基层挑选的出色士兵，这样的军事教育团前后共两期，共有1000余人接受了基本的军事教育，返回晋军四担任班长。1919年6月，商震担任山西学兵团团长，至1930年学兵团共培训学兵6000余人。日后这批学生大多成为晋军基层骨干。
1913年11月，阎锡山根据袁世凯命令解散山西全境的国民党组织，屠杀大批以往的同志，以安袁世凯之心。如此背信弃义虽然使阎锡山在国民党中名声扫地，却使他与唐继尧成为二次革命失败后同盟会党少数得以留任都督的特例。在保住都督职务后，阎锡山迅速开始扩充兵力。山西辛亥革命前仅有新军两标，到阎锡山掌握山西时手下兵马不足两千，随后被整编为山西陆军第一师，1914年扩编为三个混成旅。1917年8月晋军已经扩编为四个混成旅加两个混成团。1918年山西第四混成旅一分为二，至此晋军已经有三万之众。
1917年5月府院之争扩大，阎锡山带头支持段祺瑞，不惜通电宣布不受黎元洪政府节制。但护法战争中，阎锡山以商震领兵赴湖南支援北洋军，却因为直系从中作梗导致商旅在湘潭全军覆没。
湘潭丧师后，阎锡山再次清醒认识到自身实力的不足，于是提出所谓“中立”政策，进而发展到四处宣传所谓“三不二要主义”，即“不入党、不问外省事、不为个人权利用兵，要服从中央命令、要保卫地方治安”。在“三不二要主义”指导下，阎锡山在直皖和第一次直奉战争期间闭省不出，不问外事，但乘机扩充6营新兵。并开始将1917年筹建、1920年成立的山西工人工艺实习厂逐渐扩充为品类齐全的近代化军事工业体系。
但直皖奉三家却都知道山西对于何人可入中原关系重大。当时山西出兵，即可东出娘子关切断京汉铁路，若沿路北上，可能一直冲到直隶京畿，甚至封闭山海关截断关内关外联系。因此，当直皖奉三家混战时，即使直系掌握北京势力向南发展，若阎锡山倒向皖奉，则直系必被切成两段，南方部队后路一断，自然难逃溃散下场。如晋军附直，皖奉陆上联系很难建立，直系拥有内线优势。
但是，在曹锟和吴佩孚看来，晋军历史上与皖系关系紧密，阎锡山拜段祺瑞为老师，必会附皖。所以在直系武力统一计划中，山西是第一批便要消灭的对象。所以当直皖奉三家说客齐聚太原之时，阎锡山一面使出首鼠两端之计，一面加紧练兵，太原兵工厂昼夜不停生产武器弹药，随时准备迎战来袭的直军。
从晋军到晋绥军
1924年第二次直奉大战爆发，阎锡山并没有如直系估计那样迅速宣布附皖，而是闭省静待局势逆转的关键时刻。不久，冯玉祥等国民军预备发动北京政变，事先曾与阎联系，但阎锡山此时判断南方直军北上很可能压倒奉军，因此直到北京政变冯玉祥囚禁曹锟之后，才令晋军东出京汉线，夺取石家庄，切断了南方直军北上的唯一道路。11月1日，晋军张培梅部在石家庄将从河南退回的直军包围缴械。
阎锡山的处世哲学深受中国传统中庸思想的影响。不过，阎锡山的中庸表面之下，冷酷的实力主义却让他多次作出联而复叛的背信之举。第二次直奉战争后，阎锡山晋军经过第二次扩军，兵力突破4万；1926年，山西军火体系初见成效，保证了弹药的供给。阎锡山的晋系军阀虽然不如直皖奉以及冯玉祥西北军那样拥兵数十万，但内部相对稳固。于是便动了联合直奉，搞“讨赤大同盟”消灭盘踞西北的冯玉祥所部的念头。
冯玉祥与阎锡山在第二次直奉战争中一举扭转局势。但西北军占据京津察绥，窥探晋北十三县，阻滞了阎锡山向外发展。1926年，各家军阀围攻国民军，阎锡山这时候完全不顾什么保境安民，而是先攻河南再战察绥，8月19日进占丰镇，9月拿下绥远并攻下包头。战后冯玉祥出走国外，国民军大多被阎锡山吞并。晋军至此触角伸出山西，一举变成了“晋绥军”。
1926年秋至1927年春，晋绥军第三次扩军，徐永昌的国民军第三军和谭庆林的直系旧部加入使晋绥军总部下辖17个师和8个炮兵团。1927年1月，山西工艺实习厂正式改编为太原兵工厂，晋绥军已经成为一支总兵力13万的北方劲旅。
新军阀中最像“集团公司”
由贝伦斯拍摄，现藏英国皇家地理学会
但这时候中国的局势，因南方国民革命军北伐而发生突变，旧军阀纷纷退出历史舞台，但奉系张作霖实力保持较好。阎锡山却看出北洋军阀已时日不多，1926年10月北伐军攻克武汉，胡宾代表北伐军赴山西游说阎锡山。但晋国最初仍秉承坐山观虎斗的原则，直至奉系退过黄河，关内地盘仅剩下直鲁时，阎锡山才在1927年6月3日接受北伐军委任，宣誓就任北方国民革命军总司令，两日后晋绥军全面改旗易帜，五色旗至此变为青天白日。
但阎锡山改旗不改心，决定等北伐军与奉系拼个你死我活。1927年，北京《晨报》6月刊文指阎氏“并没有立即改变对张作霖的政策”，但阎锡山暗地里已经部署徐永昌、析爱源为右路攻石家庄；商震、张荫梧为左路沿京绥路进攻；傅作义等部直驱北京。等到晋绥军突然扣押为奉系收集情报的余珍，晋绥军三路并进，正式附蒋倒奉。不过晋绥军打得并不顺手，傅作义一路在涿州苦守三个月，其他两路只能固守娘子关、雁门关。奉军数十万涌入关内，全力围攻山西与河南的晋绥军与冯玉祥部。最终冯玉祥在豫西打败直鲁联军，善守的晋绥军也挡住了奉系主力。