鄂豫皖苏区以横跨三省的大别山山脉为中心。1927年11月，中共鄂东特委发动黄（安）、麻（城）起义，起义队伍攻占黄安县城21天，后退入黄陂山区坚持游击战争。黄麻起义是建立鄂豫皖苏区的起点。1929年5月，河南商城爆发金寨起义，创建了豫东南苏区；同年9月，又成立了包括黄安、麻城等八县在内的鄂豫边区，将其与豫东南苏区统一起来。
1929年下半年至1930年初，皖西相继爆发武装起义，建立了以六安、霍山、霍邱为中心的皖西苏区，它是鄂豫皖苏区的重要组成部分。1930年3月，中共中央决定将鄂豫边区和皖西苏区联合组成鄂豫皖特区，并组成红一军；6月，又成立了鄂豫皖边区苏维埃政府，鄂豫皖苏区正式形成。鄂豫皖苏区是全国仅次于中央苏区的第二大红色区域，它地处中原，东临津浦，西扼京汉，北靠陇海，南逼长江，与中央苏区和湘鄂苏区遥相呼应，战略地位十分重要。
红四方面军的兵力最早源于三次农民暴动：鄂豫边的黄麻起义、豫东南的商南起义、皖西的六霍起义。
1927年11月黄麻起义诞生了工农革命军鄂东军，这是红四方面军建军的起点。随后，鄂东军改编为中国工农革命军第七军。1928年7月，改编为中国工农红军第十一军第三十一师，吴光浩任军长兼师长，戴克敏任党代表，曹学楷任参谋长。全师约120人。1929年5月6日，豫东南商城南部起义，建立了中国工农红军第三十二师。周维炯任师长，徐其虚任党代表，下辖两个团。全师共100余人枪。1929年11月，中共六安中心县委领导六安独山和霍山的西镇等地区农民举行起义，1930年1月，起义武装组成中国工农红军第三十三师，徐百川为师长，姜镜堂为政治部主任。全师共200余人。
1930年4月，根据中共中央3月的指示信，红三十一师、三十二师、三十三师编为中国工农红军第一军。军长许继慎、政治委员曹大骏、副军长徐向前、政治部主任熊受暄。
从1930年科到1931年夏，国民党军队先后对鄂豫皖根据地进行了两次“围剿”。第一次“围剿”从1930年11月开始，蒋介石调集兵力近10万人，在鄂豫皖边区绥靖督办李鸣钟的统一指挥下，以七里坪为目标，企图以主力突入根据地，寻找红军主力决战。这时，红一军主力已去皖西，鄂豫边只有一些地方武装和刚由鄂东赶来黄安、麻城地区的红十五军。
在这种情况下，以曾中生为首的中共鄂豫皖临时特委和军委，确定在鄂豫边开展游击战争，牵制、袭扰和打击敌人。12月下旬，国民党军队占领七里坪后，鄂豫边的地方武装在内线坚持游击战争，红十五军在蔡申熙、陈奇指挥下向商城以南转移，准备会合红一军在外线打击敌人。
红一军在许继慎、曹大骏、徐向前指挥下，于12月中旬在皖西攻克金家寨，继而占领麻埠、独山，直逼六安城下，12月底又在东、西香火岭地区歼敌3个团，毙俘敌团长及以下官兵3000余人。接着，1931年1月初又在商城以南的四姑墩歼敌一个团。这时，深入根据地的国民党军队遭到游击战争的袭扰和打击，又看到红一军主力已回到鄂豫边，随即向城镇据点退守。国民党军队的第一次“围剿”被打破。
1931年1月中旬，在蕲春、黄梅、广济等地武装起义和游击战争中发展起来的红十五军与红一军遵照党中央指示，合编为中国工农红军第四军。红四军辖七个团，12500余人，旷继勋任军长，余笃三任政治委员，徐向前任参谋长，曹大骏任政治部主任。2月，根据中共中央指示，正式组成中共鄂豫皖特委和军委，曾中生任特委书记兼军委主席。3月上旬，红四军主动出击平汉线，双桥镇一役歼敌一个师，俘敌师长岳维峻及以下官兵5000余人。
1931年3月至5月，国民党军队又调集兵力约10万人，对鄂豫皖根据地进行第二次“围剿”。他们采取追堵兼施的方针，分别对黄麻、鄂东南、皖西地区发动进攻。4月上旬，国民党军队攻占皖西的麻埠并向金家寨进犯。这时，刚刚到达鄂豫皖根据地的张国焘，与中央委派担任鄂豫皖省委书记的沈泽民在商南会面，决定集中主力两个师从商城以南东进，同原在皖南的一个师会合。4月25日，红军以一部分兵力牵制麻埠的敌人，同时集中4个团的兵力全歼独山镇守敌一个团和麻埠援兵共2000余人，并收复皖西被敌占领地区。5月，红四军主力又在新集以北浒湾地区毙仍敌近千人。此后又转向南线，在黄安等处又歼敌4个营。至此，国民党军队的第二次“围剿”又被打破。
张国焘、陈昌浩是受六届四中全会后的中央派遣到鄂豫皖根据地的。他们于1931年1月到达根据地，5月成立以张国焘为书记兼主席的中共鄂豫皖中央分局和军事委员会，撤销曾中生为书记和主席的鄂豫皖特委和军委。7月上旬，在军委讨论红四军主力南下作战的具体方向时，曾中生等红四军领导人提出在夺取英山后，红四军应南进蕲春、黄梅、广济等县，恢复根据地，并支援红一方面军第三次反“围剿”斗争。但张国焘硬要红四军夺取英山后，实行东进安徽攻占潜山、太湖，并威逼南京的冒险计划。
会后，红四军领导人进行调整，徐向前任军长，曾中生任政治委员，原军长旷继勋调任第十三师师长。8月初，红四军攻克英山，全歼守敌1800余人。攻克英山后，红四军趁势进军蕲春、黄梅、广济等地，共歼敌7个团，俘5000余人。张国焘得知红四军南下蕲春等地后，以分局和军委名义强令红四军火速北返鄂豫边根据地，并指派陈昌浩接替曾中生的红四军政治委员职务。当部队回到白雀园后，张国焘亲自坐镇，进行了白雀园“大肃反”。他和陈昌浩等以各种罪名，杀害了原红一军军长许继慎等大批干部和战士。
1931年9月至11月，蒋介石又先后调集15个师以上的兵力，分别部署在豫东南、豫东和皖西，准备发动第三次“围剿”。但由于1931年九一八事变后，全国抗日反蒋浪潮的掀起和国民党内部矛盾的激化，迟迟未能发动。这时，红二十五军于同年10月成立，旷继勋任军长，李平章任政委，活动于皖西地区。11月7日，根据中共中央决定，红四、红二十五军合编为红四方面军，徐向前任总指挥，陈昌浩任政治委员，全军近3万人。
红四方面军成立仅三天后，就连续进行黄安、商（城）潢（川）战役、苏家埠战役、潢（川）光（山）等四次战役，共歼敌约6万人，给国民党军以沉重打击。国民党当局对鄂豫皖苏区准备发动的第三次“围剿”也破产了。同时，红四方面军发展到4.5万余人，根据地扩大到东迄安徽的舒城，西至平汉铁路，南抵鄂东的黄梅、广济，北临淮河的广大地区，共4万余平方公里，建立了26个县级政权，进入鼎盛时期。
1932年6月，蒋介石在庐山召开鄂豫皖赣湘五省“清剿”会议，会商第四次“围剿”红军计划，会议决定先“肃清”鄂豫皖和湘鄂西苏区的红军，然后再“围剿”江西中央苏区，并由蒋兼任鄂豫皖三省“剿匪”总司令，亲自加以指挥。为了“围剿”红四方面军，蒋介石调动了26个师又5个旅共30万人，分三路进犯鄂豫皖苏区。中路军蒋介石自兼司令官，刘峙任副司令，下辖6个纵队，进攻豫南鄂东红军。右路军李济深兼司令官，王均任副司令，下辖3个纵队，进攻皖西红军。左路军司令官是何成浚，副司令是徐源泉，下辖4个纵队，进攻鄂中红军。
国民党军对鄂豫皖苏区的“围剿”，以其中路军之陈继承第二纵队和卫立煌第六纵队为主力，实行稳扎稳打，分进合击，击破红军主力后，则并进长追，四面堵截。其“围剿”计划分为两步：第一步，攻占黄安、七里坪、新集、商城等要地，将红军主力赶出鄂豫边境；第二步，东西夹击，进占以多家寨为中心的皖西地区，接着由北向南，将红军主力压迫于英山以南之长江沿岸而消灭之。
8月上旬，国民党军中路军和右路军开始大举进攻，猛扑鄂豫皖苏区中心地带。13日国民党军占领黄安。接着进攻新集，红军在激战5天，毙伤敌军2000余人后，向皖西转移。9月9日，鄂豫皖苏区的政治中心新集失陷，14日商城又失守。9月上旬，红四方面军主力进至皖西金家寨地区，与红二十五军会合。蒋介石发觉红军主力西移，急调部队追击堵截，围攻皖西苏区。在此情况下，10月10日，张国焘在黄柴畈召开紧急会议，决定留少数部队在苏区坚持斗争，红四方面军主力转移外线作战。会后，红四方面军主力2万余人越过平汉路向西转移，转战鄂陕川地区，从此未再返回鄂豫皖苏区。