公元632年，穆罕默德因热病死于麦加，伯克尔继任为首领，改称“哈里发”。他即位后，首先平定了各部落的叛乱，之后又进行了对叙利亚和伊拉克的部分地区的征服战争，当时这两地处在拜占庭帝国和萨珊帝国的统治之下。公元634年，伯克尔病逝于麦地那，欧麦尔继任为第二任哈里发。他担任哈里发期间，发动了阿拉伯历史上前所未有的大征服运动。公元635年，阿拉伯军队兵分两路进攻拜占庭和萨桑波斯。

东路军穿过叙利亚沙漠，打败了拜占庭军队，占领了叙利亚首都大马士革，并迁都至此。公元637年，卡迪西亚战争中，阿拉伯军队击败波斯，占领伊拉克，从拜占庭帝国手中夺取了三大一神教的圣地耶路撒冷，并于公元642年彻底灭亡波斯帝国。西路军于公元640年攻入拜占庭帝国占领下的埃及，到公元642年，整个埃及都被阿拉伯人占领。

公元644年，欧麦尔被刺身亡。在他死后奥斯曼继任为第三任哈里发。奥斯曼继续进行征服战争，先后征服了呼罗珊、亚美尼亚、阿萨拜疆、比利亚等地区。到公元655年前后，穆斯林已经征服了包括阿拉伯半岛、部分北非、拜占庭帝国大片土地和萨珊帝国大部分土地在内的广阔区域。他们的势力甚至扩展了了印度边界。同时，以阿里为首形成的反对派，逐渐形成了新的教派---什叶派。与奥斯曼信奉的逊尼派相对立。

此时，反对哈里发奥斯曼的武装暴动迅速出现。公元656年，奥斯曼被一群愤怒的穆斯林士兵杀死，当时他正在阅读《古兰经》。哈里发被其他穆斯林所杀，这是首例。阿里继任为第四任哈里发。拥护阿里的穆斯林也逐渐产生分裂，一部分不满阿里政策的下层穆斯林脱离什叶派，另建军事民主派，并于公元661年将阿里刺杀。穆阿维叶时任叙利亚总督，借机夺取了哈里发的权位，开创了阿拉伯帝国。

穆阿维叶继任哈里发后，两面出击，侵入中亚和北非。 在北非，他们还消灭了拜占庭帝国的军队，公元698年征服了迦太基，这时北非全境已处于伊斯兰教的统治之下了。公元711年，伊斯兰势力在完全称霸北非后，一支主要由北非柏柏尔人组成的阿拉伯军队渡过直布罗陀海峡，向西班牙进军，并很快就控制 了伊比利亚半岛东南的三分之二的土地。

第二次征服的主要目标之一是攻下君士坦丁堡，这里是拜占庭帝国的首都。阿拉伯军队曾三次进攻君士坦丁堡，但最终败于立奥三世的“希腊火”，功败垂成。公元732年，阿拉伯军队开始跨越比利牛斯山（这条山脉位于欧洲，将西班牙和法国分隔开来），企图把伊斯兰化的巨浪推向整个高卢时，法兰克国王前来迎战，发起了历史上著名的“普瓦捷之战“，阿拉伯人遭到了惨败，法兰克宫相马特阻挡了阿拉伯人的攻势，迫使他们退回了西班牙。至此，阿拉伯帝国的大规模对外扩张才告结束。

尽管在欧洲前线失利，穆斯林在827年开始侵袭西西里和南部意大利，还有法国和意大利的地中海海岸地区。在这里，穆斯林获得了胜利，他们一直占据西西里，直到11世纪。在东方，穆斯林军队从伊朗向中亚进军，到达咸海南部的地区，也就是今天的乌兹别克斯坦。他们还向印度河谷地区进军，去征服今天巴基斯坦的各个城市。

公元762年，阿拉伯人将首都从靠近地中海的大马士革迁到了在美索不达米亚的底格里斯河西岸新建的巴格达。从四大哈里发统治时期起，到倭马亚王朝阶段，数次的大规模征服运动为阿拉伯帝国奠定了疆域基础。公元8世纪前期，阿拉伯帝国基本形成。帝国的疆域从印度河流域直到大西洋。是一个横跨欧、亚、非三大洲的庞大帝国，同时也是当时世界上领土面积最大的国家。