。比如後來建立後趙的羯人石勒，就屬於這一類人，他一開始加入的是成都王司馬穎的隊伍。還有的藩王則直接聯絡塞外的胡人豪強，許以高官厚祿讓他們入關助戰，比如南匈奴單于、後來建立漢國的劉淵，他早年就接受了晉武帝司馬炎的冊封，八王之亂期間受司馬穎邀請南下參戰，最後官至冠軍將軍。
這些胡人一開始對司馬氏的底細也搞不清楚，本來是抱著當僱傭軍的心思來收錢幹活的。來了一看才發現，司馬氏皇族已經把中原一帶破壞的不像樣子了，沒有什麼成型的政治勢力能夠掌控局勢了。
於是這些僱傭軍就開始反客為主了，依靠武力驅逐漢族官員，自己建立了政權，第一個便是劉淵建立的漢國（後改為前趙）。而胡人一般不懂治國，一些較大的胡人政權很快就在大大小小的爭鬥中分崩離析，於是就形成了「五胡十六國」的局面。
「五胡」主要指匈奴、鮮卑、羯、羌、氐五個胡人大部落，但事實上五胡是西晉末各亂華胡人的代表，數目遠非五個。
百餘年間，北方各族及漢人在華北地區建立的國家達數十個，強弱不等、大小各異，其中存在時間較長和具有重大影響力的有五胡十六國。
西晉懷帝永嘉五年（311年），匈奴軍隊在劉淵之子劉聰率領下擊敗西晉京師洛陽的守軍，攻陷洛陽並大肆搶掠殺戮，俘擄晉懷帝，殺王公士民十萬餘人。
永嘉七年（313年），晉懷帝被殺死，司馬鄴於長安即皇帝位，改元建興。
建興四年（316年），劉曜又攻入長安，俘晉愍帝，西晉滅亡。318年初，晉愍帝被殺死。
建興五年（317年）4月6日，司馬睿承制改元，即晉王位（尚未稱帝），改元建武，史稱東晉。
中原士族等臣民相隨南逃，史稱「永嘉之亂，衣冠南渡」，這是第一次比較重大的南移事件。此次衣冠南渡之後，中國的文化中心開始向江南轉移。
建武二年（318年）4月23日，晉愍帝死於漢國的訃告傳到江東，司馬睿才於4月26日即皇帝位，改元太興。
司馬睿即位後，因為在皇族中聲望不夠，勢單力薄，所以得不到南北士族的支持，皇位不穩。於是他重用了王導。
王導運用策略，使南方士族支持司馬睿，使北方南遷的士族也決意擁護司馬睿，穩定了東晉政權，維持了偏安局面。司馬睿十分感激王導，任他為宰相，執掌朝政。時人謂之「王與馬，共天下」。
