刘氏建立汉朝后，为了与北方强悍匈奴和睦共处，便确立了和亲睦邻的基本国策。自开皇帝开始，各任汉家皇帝，往往都要将汉朝刘氏公主或宗女嫁给匈奴单于，通过政治联姻，化干戈为玉帛。匈奴单于为了表示对汉朝的尊重，便将这些汉朝公主所生子女部改从母姓刘，其后裔遂形成匈奴刘氏。

当刘氏在中原亡国失鼎之后，匈奴刘氏却崛起于北方，继而挥师南下，逐鹿中原，建立汉国。
匈奴刘氏是冒顿单于的后裔，形成的时间也即匈奴贵族改姓刘氏的时间，应在汉魏之际。改姓的最根本的原因是东汉后期匈奴族南北分裂后南匈奴贵族南迁和汉化的结果。

前3世纪末，汉高祖刘邦与匈奴和亲，将刘氏宗室之女，下嫁冒顿单于为于阏(王后)。
冒顿单于与汉朝翁主(诸侯王的女儿叫翁主)刘氏生子稽粥，后继位为单于，史称老上单于。
老上单于又娶汉朝翁主刘氏，生二子：军臣单于和伊稚斜单于。
伊稚斜单于生三子：乌维单于、句犁湖单于、且鞮侯单于。
且鞮侯单于生子虚闾权单于。虚闾权单于生子稽侯，即西汉晚期著名的呼韩邪单于。

呼韩邪单于生子囊知牙斯，即位后称为乌珠留若鞮单于。
乌珠留若鞮单于生子比，任右日逐王，领南边八部。
右日逐王比为冒顿单于的第10代孙。当时，正值两汉更替，而匈奴族内部也争斗激烈。公元46年，单于舆去世，按匈奴族兄终弟及制，应传位给王昭君所生的儿子也即单于舆的弟弟右谷蠡王知牙师，但单于舆在生前将知牙师杀死，而传位给他自己的儿子蒲奴。48年，右日逐王比因不满蒲奴单子继位，率匈奴南八部兵四五万人宣布独立，向东汉奉藩称臣。从此，匈奴族分为南北两部，单于比即为南匈奴的第一个单于。

50年冬，南匈奴单于比率部从离五原西部塞80里处的南单于庭继续向内徙居到西河美稷(在今山西省西北、内蒙南部)，以美稷为南单于庭。单于比又将南匈奴的各部屯居在汉朝北部的北地、朔方、五原、云中、雁门、代、定襄等郡。
匈奴单于还派贵族子弟到汉都洛阳学习汉文化。南匈奴自南下归属汉朝，就开始祭祀汉家祖先。大约在这时，他们就以汉朝皇族后裔自居。

188年，单于羌渠便派他的儿子左贤王于扶罗珍助汉讨平张纯和黄巾军。但匈奴国内有一部分人反对出兵，便在美稷发动政变，攻杀羌渠单于，另立其弟弟须卜骨都侯为单于。
于扶罗因匈奴国内生变，不能归国，只好自立为单于，留处汉朝河东郡平阳县(今山西临汾市)。于扶罗单于在位7年，于195年去世，传位给弟弟呼厨泉单于。于扶罗生有2子：长子豹，任左贤王；次子去卑，任右贤王。

曹操将南匈奴族人分为左、右、前、后、中五部，各立其贵人为部帅。以左贤王豹为首的匈奴贵族，自认为系汉家子孙、高祖后裔，遂改姓刘氏。
当时，一同改姓刘氏的有左贤王左部帅刘豹、右贤王监国刘去卑、于扶罗的弟弟刘宣和其余四部帅等一大批匈奴贵族。
这样，匈奴刘氏便在东汉末年形成了。汉魏之际，匈奴刘氏主要居住在晋阳汾涧之滨。

世纪中叶，匈奴左贤王刘豹之妻呼延氏梦服太阳之精而生下一个神奇的婴儿。婴儿左手心有一个“渊”字，因而取名叫刘渊，字元海。
264年，刘渊被匈奴贵族推荐为朝廷郎官，派往洛阳。刘渊在洛阳广泛地与名儒和官僚交游往来，并受到司马炎的赏识。后来，左贤王刘豹去世，刘渊袭父职任匈奴左部帅。

288年，刘渊被晋武帝任命为匈奴北部都尉。
不久，晋王朝发生'八王之乱'，同时，北方各族纷纷趁火打劫，叛乱四起。
以左贤王刘宣为首的匈奴贵族，自认为匈奴刘氏为汉朝子孙，应乘机起事，建立匈奴刘氏的天下。而成都王司马颖欲借匈奴部众为援，便派刘渊回匈奴。304年，刘渊回到左国城，被拥立为大单于，建都离石，公开起兵反晋。

不久，刘渊即位称汉王，追尊三国蜀后刘禅为孝怀皇帝，并祭祀汉家列祖列宗。
接着，刘渊赶走了晋并州刺史司马腾，并收服、合并了在西晋东方发动叛乱失败的王弥和石勒等部。
308年，刘渊在蒲子(今山西陧县)即帝位，迁都平阳。刘渊母亲是匈奴贵族呼延氏，刘渊有五子：刘和，封皇太子；刘裕，封齐王；刘隆，封鲁王；刘聪(母张氏)，封右贤王、鹿蠡王；刘乂，封北海王。

刘渊弟弟刘雄，字元英，官任匈奴汉使持节、侍中、太宰、司徒公、右部魏成南王。
刘宣，字士则，是东汉末年匈奴单于羌渠的儿子，扶于罗单于的弟弟，也就是刘渊的叔祖父。刘宣向往汉族的文化，曾拜著名学者孙炎为师，西晋初年，刘宣经并州刺史推荐，被晋武帝任命为匈奴右部都尉。此后，刘宣又历任匈奴北部都尉、左贤王。4世纪初，刘宣成为刘渊反晋建汉事业的主要策划者。308年任匈奴汉国第一任丞相，不久去世。

刘渊传位于嫡长子刘和。
310年，刘和在卫尉西冒王刘税和宗正呼延的挑拨下，向自己的4个弟弟开刀，掀起了残酷内争。大司徒齐王刘裕和鲁王刘隆被杀，而刘渊四子刘聪则攻克平阳，将刘和杀死，继帝位。
刘聪派遣刘曜、呼延等几路匈奴大军出击洛阳，于311年攻破晋都洛阳，俘晋怀帝司马炽。匈奴攻入洛阳后，到处烧杀掳掠，晋都王公大臣以下被匈奴杀害的就多达3万余人。

匈奴骑兵攻克洛阳后，立即挥师而西。一路过关斩将，降杀晋南阳王司马模，攻占长安。后来，晋军拥立原秦王司马邺为帝，即晋愍帝。关中各族人民配合晋军，围攻匈奴大将刘曜所占据的长安。刘曜接连失败，最后驱掠长安士女8万多人撤出长安，退回平阳。
316年，匈奴大将刘曜攻陷长安，晋愍帝出降，西晋灭亡。刘聪采取胡、汉分治的办法，自己总统胡、汉，但实际上是以胡压汉。

刘聪有六子：嫡长子刘粲、刘易、刘翼、刘悝、刘约、刘衷。
318年刘聪死，刘粲继位。
刘粲曾陷害皇叔北海王刘乂，将他杀死，还将刘乂部属1000多人活埋。
刘粲宠信外戚靳准，打击匈奴刘氏势力。318年，靳准发动政变，捕杀刘粲，并将匈奴皇族'刘氏男女无少长
皆斩于东市'。
刘粲太子刘元公等均被杀害，刘氏宗庙被焚毁，甚至刘渊、刘聪的陵墓也被挖掘毁坏。
刘渊匈奴汉国至此衰亡，匈奴刘氏遭此惨劫，元气大伤。