1921년 7월 상하이에서 천두슈, 리다자오 등이 소련 공산당 국제 조직(코민테른)의 도움을 받아 중국 공산당을 세웠다. 젊은 마오쩌둥도 창당 대회에 참석했다. 쑨원은 소련의 지원을 받기 위해 1924년 국민당과 공산당의 협력(제1차 국공 합작)을 받아들였다.
1925년 쑨원이 죽은 뒤 국민당 군대를 이끈 장제스는 1926년 군벌을 무너뜨리기 위한 북벌을 시작했다. 그러나 1927년 4월 상하이에서 공산당원과 노동 운동가들을 대거 체포·처형하며 공산당과 갈라섰다.
1928년 북벌군이 베이징까지 들어가 국민당의 난징 국민 정부가 중국을 형식적으로 통일했다. 한편 살아남은 공산당은 농촌으로 들어가 장시성 산악 지대 등에 근거지를 만들고 농민 군대를 길렀다.