무함마드가 죽자 공동체는 그의 오랜 동료 아부 바크르를 지도자, 곧 ‘칼리파’(후계자)로 뽑았다. 이어 우마르, 우스만, 알리가 차례로 칼리파가 되었는데, 수니파 무슬림은 이 네 사람의 시대를 ‘올바르게 인도된’ 정통 칼리파 시대라고 부른다.
아라비아를 다시 하나로 묶은 아랍 군대는 북쪽으로 나아갔다. 636년 야르무크 전투에서 비잔티움군을 크게 이겨 시리아와 예루살렘을 얻었고, 비슷한 시기 카디시야 전투(636년경)와 니하반드 전투(642)에서 사산군을 무찔렀다. 641~642년에는 이집트의 알렉산드리아가 넘어갔고, 사산의 마지막 왕 야즈데게르드 3세가 651년 메르브 근처에서 죽으며 400년 넘게 이어진 사산 제국이 끝났다.
이처럼 빠른 팽창의 배경으로는 오랜 전쟁으로 두 제국이 지쳐 있었던 점, 아랍 군대의 기동력, 그리고 정복지 주민에게 세금(지즈야)을 받는 대신 신앙과 생활을 상당 부분 허용한 점 등이 꼽힌다. 정복지 주민 다수가 곧바로 개종한 것은 아니며, 이슬람이 다수 종교가 되기까지는 수백 년이 걸렸다.