蒙古族真正的祖先是戰國時期的東胡人，但是東胡人后來被匈奴人所擊破，部落潰敗。根據《史記》的記載，大約秦漢之交時，匈奴的冒頓單于統一了草原各部，并往東兼并了東胡各部。東胡人在匈奴的沖擊下逐漸瓦解，潰散為許多小部落，比如后來的鮮卑、烏桓、柔然都是東胡瓦解以后形成的的分支。
現在一般認為與蒙古血緣最近的應該是東胡的分支柔然人，柔然是北魏時期活躍漠北草原的游牧民族，曾經統治過漠北數十年。直到南北朝后期柔然汗國衰落，被突厥人所滅。柔然民族的名號雖然不再使用，但他們的血統卻得以延續了下去。蒙古族最早的乞顏部落就是柔然人的直系后裔，但蒙古族并非只有乞顏部。數百年后的元太祖鐵木真就是蒙古族乞顏部的首領。
除了柔然以外，室韋是蒙古人的另一個遠祖。《魏書》記載了兩支東胡人的后裔，南面的自稱“契丹”，北面的號為“室韋”。在唐朝時期，室韋上表臣服中央，因此唐人有了關于室韋人的更為詳細的記載。在室韋的各個部落中，有一支部落名為蒙兀室韋，他們與突厥人、契丹人、回鶻人雜居，逐漸演變為了后來兩宋時期的蒙古族。“蒙兀”的名號就是蒙古族最早的稱呼。
從現存的文獻來看，蒙兀室韋還與契丹人有很深的淵源。遼太祖耶律阿保機建立遼國以后，往西征服了室韋各部，其中也包括蒙兀室韋。從《遼史》中記載的契丹文字來看，室韋人和契丹人交流沒有障礙，他們的語言、文字相近，這也證明了室韋和契丹都是東胡的分支。
遼國滅亡以后，漠北草原的各個部落陷入了各自為政的局面，其中就包括當時還不怎么強大的蒙兀室韋。雖然耶律大石西征時曾經憑借遼國的余威向草原各部落借兵，但是他最終還是沒有停留在蒙古高原。女真族雖然消滅了遼國，但他們是東北地區的漁獵民族，與草原的部落的文化習俗完全不同。整個金朝時期，女真人都沒有能力像契丹人那樣統治漠北草原。
失去了控制的蒙古族（蒙兀室韋）就是在這個時候發展壯大起來的，并成為了金國的勁敵。金章宗在位時期，蒙古族已經發展到了18個部落之多，完全成為了一支新興的草原力量。到了公元1206年，蒙古族乞顏部落的首領鐵木真（他的全名叫做勃兒只斤·鐵木真）統一了蒙古各部，建立了大蒙古汗國，被尊為“成吉思汗”。
大蒙古汗國剛剛建立以后，先后兼并了西遼、西夏、金國、東夏、吐蕃等割據勢力。1259年，大蒙古汗國最后一任合法的大汗“蒙哥汗”攻伐南宋時戰死，拖雷一脈的忽必烈趁機篡位奪權，建立了元朝，統一的蒙古汗國瓦解為了5部分。忽必烈即位后，又攻滅了大理國和南宋，終于結束了自唐末以來諸侯各自為政的局面。
在元朝滅亡以后，漠北的蒙古人不斷受到明朝的攻擊，最終瓦解了東蒙古（瓦剌）和西蒙古（韃靼）兩部分。后來，瓦剌的也先和察哈爾部的達延汗都先后統一過蒙古各部，但是并沒有維持太久。明朝末年時，蒙古又分為漠西蒙古（準格爾汗國、和碩特汗國）、漠南蒙古、漠北蒙古三部分。
