從189年東漢名存實亡開始，中國再次進入了大分裂時代。此後，經過了三國、兩晉、南北朝三個階段，最終到589年完成了統一。在南北朝時期，北方的鮮卑族建立了北魏、北周、北齊等政權，南方出現了漢族建立的宋、齊、梁、陳四大王朝，南北相互對峙。在南北朝時期，南北方都相對比較穩定，為經濟恢復、民族融合提供了條件，為後來的大一統奠定了基礎。與此同時，在大漠出現了柔然、高車、突厥等爭霸的局面。

在4世紀末期，黃河流域出現了代、後燕、胡夏、南涼、北涼、西涼、吐谷渾等政權，其中代國、燕國和吐谷渾都是鮮卑族建立的。386年，拓跋珪在漠南重建代國，不久改名號為魏，史稱“北魏”。此後，北魏透過三代人的努力，最終在439年統一了北方。在南方，劉裕從399年開始掌握東晉大權，他平定孫恩起義，消滅桓楚、西蜀及盧循、劉毅、司馬休之等割據勢力和反對政權，使得南方終於統一。此後，劉裕也北伐消滅了南燕、後秦等。420年，劉裕正式稱帝，建立了劉宋。中國進入了南北朝對峙的階段。

由於北魏忙於統一戰爭，大漠的柔然趁機崛起，建立了一個東到大興安嶺，西到伊犁河流域的汗國。由於柔然的存在，使得北魏處於兩面夾擊的狀態，這也導致北魏無法南下。到北魏中期，柔然的勢力範圍擴張到了西域諸國，疏勒、于闐也臣服於柔然，而焉耆等重要的據點被柔然搶奪。

北魏後期，孝文帝遷都洛陽，推行全面的漢化改革。在南方，劉宋宗室內亂，政權被蕭氏的南齊取代。北魏在南朝內亂期間佔據了山東半島。在大漠，高車在阿伏至羅的帶領下遷徙到了西域，脫離了柔然控制，建立了高車汗國（487年—541年）。不過，高車的處境十分危險，因為柔然虎視眈眈，而西邊的嚈噠也逐漸強大起來。在這樣的情況下，高車基本上都是聯合北魏對付柔然。

502年，南朝梁氏內鬥，蕭衍於502年建立了南梁，取代了南齊。黃河流域，六鎮因為遭到柔然的進攻，經濟殘敗，最終引發了六鎮起義。534年，來自於六鎮的高氏和宇文氏瓜分了北魏，建立了新的政權，也就是北齊和北周的前身。在漠北方面，高車最終在柔然和嚈噠的進攻下亡國，而柔然佔據了天山以北，嚈噠佔據了天山以南。吐谷渾則趁機向北擴張，佔據了鄯善。

高車滅亡之際，遷徙到阿爾泰山一帶的鐵勒人和塞種人融合，演變除了一個新的民族——突厥。突厥最開始是高車的一部分，後來倒向了柔然。550年，阿史那土門建立了突厥汗國，並且將所有的高車部落納入其中。552年，突厥滅柔然，稱雄大漠。568年，突厥又聯合波斯帝國瓜分了嚈噠。突厥的興起，讓中原王朝倍感壓力。

中原方面，550年，高洋正式改國號為齊，北齊正式出現；557年，宇文氏也改國號為周，史稱北周。548年，南梁爆發了侯景之亂，梁武帝被餓死。鎮守荊州的蕭繹將荊州北部割讓給了宇文氏，宇文氏還乘機佔據了益州，得到了內地的半壁江山，為後來宇文邕滅北齊奠定了基礎。侯景之亂後，南梁滅亡，陳霸先建立南陳，守住了南朝的半壁江山。

577年，宇文邕滅北齊，實現了中原的統一。不過，宇文邕還未大展拳腳，就去世了。宇文邕去世後，楊堅趁機奪權，建立了隋朝（581—618）。雖然宇文邕沒有實現北伐突厥、南平江南，但是為後來隋朝的大一統奠定了基礎，也算是南北朝最重要的帝王之一。

589年，楊堅命令大軍南征，南陳滅亡，宣告華夏再次統一，時隔整整400年。當時，突厥由於面積太大，又在地方四大小可汗基礎上增加了三個可汗，目的是防範西面室點密可汗。此後，突厥爆發了內戰，漠北大亂20年，這給隋朝的強盛提供了國際環境。

經過20年的內戰，突厥最終分裂為了東突厥和西突厥。而隋朝則在這個期間進一步擴張。609年，隋朝滅吐谷渾，設定了鄯善、且末、西海、河源四郡，隋朝的版圖達到了頂峰。然而，東突厥強盛後隋煬帝帶來了巨大的壓力，高麗也倒向東突厥。為了征服高麗，隋煬帝三徵高麗，最終都是失敗，引發了大規模的農民起義，最終隋朝於618年滅亡。此後滅高麗、徵突厥、平西域的任務就只能交給唐朝。