早在曹魏统治时期，由于东汉末年的连年战乱，人口急剧减少，中央和地方官府财政锐减，农业废弛。因此朝廷便推出了“移民实边”政策，把北方边塞以外的胡人迁入内地。
早期迁入的胡人大多是用来充实佃农和劳役，大多归附在汉人地主名下。除了曹魏以外，蜀汉在北伐期间征募了大批羌族、氐族士兵；而东吴在镇压山越期间，也掳掠了大量的山越人作为劳动力。
如果西晋在统一之后能够保持长期安定团结的政治局面，这些胡人的命运就是变成普通的汉族农民。
但是西晋爆发了八王之乱，等到各自的本钱都差不多耗完了，东海王司马越和成都王司马颖就开始各自招引不同的胡族帮自己打仗。比如后来建立后赵的羯人石勒，就属于这一类人，他一开始加入的是成都王司马颖的队伍。还有的藩王则直接联络塞外的胡人豪强，许以高官厚禄让他们入关助战，比如南匈奴单于、后来建立汉国的刘渊，他早年就接受了晋武帝司马炎的册封，八王之乱期间受司马颖邀请南下参战，最后官至冠军将军。
这些胡人一开始对司马氏的底细也搞不清楚，本来是抱着当雇佣军的心思来收钱干活的。来了一看才发现，司马氏皇族已经把中原一带破坏的不像样子了，没有什么成型的政治势力能够掌控局势了。
于是这些雇佣军就开始反客为主了，依靠武力驱逐汉族官员，自己建立了政权，第一个便是刘渊建立的汉国（后改为前赵）。而胡人一般不懂治国，一些较大的胡人政权很快就在大大小小的争斗中分崩离析，于是就形成了“五胡十六国”的局面。
“五胡”主要指匈奴、鲜卑、羯、羌、氐五个胡人大部落，但事实上五胡是西晋末各乱华胡人的代表，数目远非五个。
百余年间，北方各族及汉人在华北地区建立的国家达数十个，强弱不等、大小各异，其中存在时间较长和具有重大影响力的有五胡十六国。
西晋怀帝永嘉五年（311年），匈奴军队在刘渊之子刘聪率领下击败西晋京师洛阳的守军，攻陷洛阳并大肆抢掠杀戮，俘掳晋怀帝，杀王公士民十万余人。
永嘉七年（313年），晋怀帝被杀死，司马邺于长安即皇帝位，改元建兴。
建兴四年（316年），刘曜又攻入长安，俘晋愍帝，西晋灭亡。318年初，晋愍帝被杀死。
建兴五年（317年）4月6日，司马睿承制改元，即晋王位（尚未称帝），改元建武，史称东晋。
中原士族等臣民相随南逃，史称“永嘉之乱，衣冠南渡”，这是第一次比较重大的南移事件。此次衣冠南渡之后，中国的文化中心开始向江南转移。
建武二年（318年）4月23日，晋愍帝死于汉国的讣告传到江东，司马睿才于4月26日即皇帝位，改元太兴。
司马睿即位后，因为在皇族中声望不够，势单力薄，所以得不到南北士族的支持，皇位不稳。于是他重用了王导。
王导运用策略，使南方士族支持司马睿，使北方南迁的士族也决意拥护司马睿，稳定了东晋政权，维持了偏安局面。司马睿十分感激王导，任他为宰相，执掌朝政。时人谓之“王与马，共天下”。