關隴集團的形成，最早要從北魏開始說起。
大家知道，北魏的都城，最開始是在平城，也就現在的山西大同市，從地圖上看，屬于是比較靠近長城以北的地方。而當時北魏在北方，又有個非常強大的敵人，叫做柔然，雙方經常爆發大規模的戰爭。
因為北魏的都城距離柔軟的勢力范圍太近，為拱衛都城的安全，防御柔然南下入侵，北魏統治者拓跋燾就在都城的附近設置了六個軍事要塞，分別是沃野、懷朔、武川、撫冥、柔玄、懷荒，合稱“六鎮”。
因為這六鎮是保衛北魏都城的屏障，所以其重要性不言而喻，因此這六鎮的將領，其身份都非常高貴。并且，這六鎮的軍人，其福利待遇和武器裝備也都是最好的，當時北魏士兵都以當六鎮軍人為榮。
但后來，北魏孝文帝改革后，北魏將都城遷到洛陽，由于平城不再作為國都，六鎮也就失去軍事上的意義，其將領和士兵的地位也就隨之一落千丈。
同時，由于六鎮的將領遠在漠北，少有接觸漢文化的可能。于是久而久之，他們與南遷的鮮卑貴族在文化上形成差距，心理上形成隔膜，經濟地位上也處于劣勢。
在這種背景下，六鎮軍人對北魏上層是越來越不滿，再后來，北魏高層又常常把犯罪的人發配到六鎮為兵，更使得六鎮兵民的處境不佳。終于，在長期的積壓之中，隨著北魏帝國經濟陷入危機后，六鎮軍人率先爆發了起義。
其后，北魏帝國由此被分裂成東魏和西魏兩個國家，東魏由高歡領銜，定都河北邯鄲，地盤主要包括現在的河北、河南、山東、江蘇徐州以北、以及山西東部；西魏則由宇文泰領銜，定都陜西西安，地盤主要就是關中地區。
最初，關中地區的老大是賀拔岳，但因為賀拔岳意外被手下人刺死，而此時高歡又率領大軍打算吞并關中，關鍵時刻，賀拔岳的手下一致推舉宇文泰為新的新領袖，并由宇文泰帶領大家與高歡分庭抗禮。
因為宇文泰是被臨時推舉出來的，所以他的地位并不是特別穩固，算不上一家獨大，所以在西魏建立后，宇文泰雖然是名義上的執政官，但卻不敢大權獨攬，于是他就特意冊封八大柱國，由這八大柱國來共同執掌西魏的政權。
這八大柱國分別是：宇文泰、元欣、李虎、李弼、于謹、獨孤信、趙貴、侯莫陳崇。其中，元欣是西魏皇族，屬于傀儡性質的人物，所以西魏的政權實際掌握在另外七個人手里。
另外，為協助八大柱國掌管軍隊，宇文泰又設置“十二大將軍”，負責統領西魏軍隊，地位僅次于八大柱國。
這十二大將軍分別是：元育、元贊、元廓、宇文導（宇文泰侄兒）、宇文貴、李遠、達奚武、侯莫陳順、楊忠（楊堅之父）、豆盧寧、賀蘭祥（宇文泰外甥）、王雄。其中，元育、元贊、元廓也都是西魏皇族，屬于傀儡性質的人物，沒有實權。
所以，西魏的政權，實際上就是七個大柱國和九個大將軍控制。由于這七個大柱國和九個大將軍，都是六鎮軍人的出身，而且還都是出自武川鎮，所以他們又被稱之為“隴六鎮集團”，或者“武川鎮軍閥”。而他們這十六個大家族，也就是后來關隴集團的第一代。
此后，這十六個家族和關隴地區豪族如京兆韋縝、河東柳澤、太原郭彥、武功蘇椿、河內司馬裔、敦煌令狐整等結成聯姻，然后雙方不斷融合，最終形成了以“宇文、楊、李、獨孤、竇、尉遲、王、長孫”為核心的關隴集團，后來楊堅和李淵奪取天下，都是源于關隴集團的支持。
不過，正是源于關隴集團的實力太過強大，所以從李淵奪取天下開始，就不斷在削弱關隴集團的實力。尤其是唐高宗上臺后，作為關隴集團領銜人物的長孫無忌處處對其施壓，唐高宗為擺脫關隴集團的控制，于是開始與關東地區的豪門大族聯手。
這時候武則天的武氏家族，恰好是關東地區首屈一指的豪門大族，于是武則天自然水到渠成地稱為李治的皇后。
對此，以長孫無忌為首的關隴集團自然會表示強烈的反對，而這也會他們后來的滅亡埋下了隱患。至于后來的事情大家也知道，長孫無忌很快被殺，武則天的權力則是越來越大。
再后來，等到武則天上臺后，她直接將都城搬遷到洛陽，降低關隴集團對朝廷的影響；接著她又特意開設武科舉來取士，打破軍功的世襲制度，讓廣大底層百姓也能在軍中擔任較高職位，從而瓦解關隴集團賴以生存的軍權。
其后，在關隴集團失去軍權之后，武則天又重用酷吏對他們進行殘酷清洗。最終，在武則天的強擼之下，歷時150余年的關隴貴族集團終于退出了歷史舞臺。
對此，史書上曾這樣評價：“武曌則以關隴集團外之山東寒族，一旦攫取政權，久居洛陽，轉移全國重心于山東，中進士詞科之選舉，拔取人才，遂破南北朝之貴族階級。”
