《史記》是二十四史中文學性最強的一部，被稱為“史家之絕唱，無韻之離騷”。而做為《史記》的作者，司馬遷的史學素養也是被歷史所承認的。“究天人之際，通古今之變，成一家之言”是對他公正的評價。
相對于李將軍一家，衛青與霍去病與司馬遷大概沒有太多交集，司馬遷是漢武帝“倡尤蓄之”的史臣，而衛霍是為國家建功立業的貴戚，身分的差別大概是情感阻隔的原因。司馬遷受宮刑之后，對漢武帝身邊的貴戚大概都有種“敬鬼神而遠之”的情感。
以司馬遷對李家的好感，李敢死于霍去病之手，司馬遷心中無偏見，是不可能的。關于司馬遷對衛，霍集團的態度，個人在問答中《衛青和霍去病為什么出現在里》一文，已經分析過了。總之，司馬遷不待見衛，霍，主要的根源是司馬遷對漢武帝的不滿，再加上李廣，李敢之死，李陵失去歸國的機會，都和衛，霍集團有一定關系。
霍去病所處的時代不同于李廣。首先漢武帝開始決心對匈奴用兵，投入了更大的人力物力來進行戰爭；其次衛青數次出塞作戰，已經為后來軍事行動的成功，打下了比較好的經驗、后勤與情報基礎。李廣世代的作戰往往是被動防御，而霍去病參與的都是大集團軍的主動出擊，雖然不好說難易程度不同，但至少戰術層面的主動權開始轉移。
從這一角度來看，霍去病固然不愧為名將，但他其實也只是武帝個人宏大計劃的執行者而已。再加上不恤士卒，僅僅二十多歲就病死了，相比李廣，戰績固然領先，但又有缺少足夠考驗之嫌。更重要的是，霍去病大紅大紫的時候，司馬遷已經是中年人了，霍去病的形象在司馬遷那里自然不可能像李廣那么傳奇。
