首先是衛子夫年齡漸老。衛子夫肯定是美貌絕倫，否則也抓不住皇帝，但人無十年好，花無百日紅。年老則色衰，色衰則愛弛，所以到了后來，衛子夫雖貴為皇后，也很難見到皇帝一面。劉徹這時正沉醉在更年輕更漂亮的王夫人、李夫人、尹婕妤、趙鉤弋等美人的溫柔鄉里。其次是，皇太子劉據遺傳了母親敦厚的性格，而老爹劉徹卻聰明能干，反應靈敏，多才多姿。他嫌他兒子不夠精悍，一點也不像自己。這兩種危機使衛子夫母子產生了恐懼。劉徹也察覺到他們的不安，特別告訴身為最高統帥的衛青：“皇太子敦厚好靜，一定可以安定天下，我還有什么可憂慮的。如果挑選守成的君主，沒有比皇太子更適合的人選。聽說皇后和皇太子惶惶終日，如果真有這回事，請他們了解我的本心。”衛青除了感謝皇恩浩蕩外，也暗自慶幸。

很多跡象說明劉徹也確實有這種心愿，他除了喜歡聲色犬馬外，跟秦王朝嬴政一樣，也喜歡云游四方，到處亂逛。劉徹每次離開首都時，就把朝政交給兒子劉據主持，把后宮交給衛子夫主持。母子們戰戰兢兢，誠惶誠恐，所作的決定，劉徹無不十分滿意。

劉據對于死刑案件非常謹慎，如果發現是場冤獄，就立即加以平反。然而，劉據這種寬厚的性情卻引起了一班位高權重的酷吏的不安。他們最初不過竊竊議論，后來開始在劉徹面前婉轉攻擊。衛子夫感覺事態嚴重，再英明的人都擋不住如火如荼的小報告，何況，她深知劉徹并不英明，她告誡兒子說：“遇到大事大獄，應該留待老爹決定，你可不要自作主張。”但是，劉徹卻每一次都支持兒子，認為老妻太不坦誠。這更加深了酷吏群的恐懼。他們對劉據的陷害，無所不用其極。

公元前106年，衛子夫的弟弟大將軍衛青去世，太子的反對派們高興極了。母親失寵，舅舅又死，而宮廷中的父愛最不可恃，正是對劉據下手的時候。當時，劉徹已經52歲，大概感到來日無多，他變得更加荒淫，衛子夫很難見他一面，所以反對派的攻擊就更加猛烈卑鄙。有一次，劉據進宮晉見母親，大概逗留的時間稍久，小黃門蘇文就向劉徹告密說：“皇太子跟宮女們亂搞起來啦。”劉徹倒還聰明，非但沒責備，反倒立刻下令把太子宮的宮女增加到二百人。蘇文碰了一鼻子灰，心還不甘，他和他的宮門警衛官同僚常融、王弼二位就更加緊收集劉據的過失。如果劉據沒有過失，他們就捏造過失，并在捏造的過失上，加油添醋，使它不但變成真實的，而且是嚴重的。衛子夫對他們恨入骨髓，曾跟兒子密商，要兒子稟報老爹，殺掉他們。劉據這時已29歲，危機四伏的環境，培養出他的政治警覺，他知道只殺掉幾個爪牙無補于事，反而更增加仇恨。而且，也未必能殺掉他們。他說：“我們以后只有更加小心，只要不做錯事，老爹英明，向來不信奸邪，沒啥可憂愁的。”恰巧劉徹有小病躺床，教常融召喚劉據，常融回報說：“皇太子聽說您病了，臉上一團高興。”劉徹像挨了一記悶棍，一語不發。等了一會，兒子趕來，劉徹瞧他臉上有眼淚的痕跡，覺得不對勁，才知道差點上了常融的當，大怒之下將常融處決。

劉據的淚痕顯然是偽裝的，然而，我們不能責怪劉據，斗爭的殘酷使他不得不用詐術以自保。

握有無限權力的人往往對死亡尤其恐懼，特別是怕死于非命，劉徹也不例外。他也知道壽命有限，所以，他采取兩項措施延長壽命。一是積極的，大肆招攬方士為他燒煉不死之藥。另一項是消極的，那就是嚴密地防范被人暗算。那個年代，人們堅信用巫術可以致人死亡，所以劉徹對巫術特別敏感。皇后陳嬌之所以被廢且囚死長門宮，就是起因于她玩弄巫蠱。而衛子夫一家也在巫蠱事件上遭了殃。

衛子夫的姐姐衛君孺是宰相公孫賀的妻子，他們的兒子公孫敬聲仗恃著背景雄厚，在長安城中，無惡不作。最后，終于因貪污軍餉一千九百萬錢，被人揭發。衛家再大的巴掌，也遮不住這么大的犯罪。在法律上，只有死刑。公孫賀愛子心切，想出了一個自以為妙的辦法。原來當時有個叫朱安世的俠客，劫富濟貧，殺贓官，救小民，連皇帝都大為震怒。可是，朱安世行俠仗義，朋友密布，雖然嚴令追緝，他仍逍遙首都。公孫賀對劉徹說，他愿捕獲這個“劇盜”來為兒子贖罪。劉徹答應了。

在宰相的嚴厲督促下，朱安世終于落網，當他聽到事情經過后，笑道：“公孫賀想用我的性命去救他的兒子，我要教他滿門滅絕。”于是他揭發公孫敬聲的罪狀：如何跟劉徹的女兒陽石公主私通，如何在劉徹常走的御道旁埋藏詛咒用的木偶，用巫術詛咒劉徹趕快死掉。劉徹聞聽七竅生煙，下令將公孫賀逮捕，交由酷吏杜周偵查，一番嚴刑拷打兼軟欺硬騙，案情向四下蔓延，衛家親屬幾乎牽連進去一半，劉徹跟衛子夫的兩位親生女兒陽石公主和諸邑公主也在其中。后來兩個公主雙雙自殺，衛青的兒子衛伉被斬首，公孫家所有男女則全部屠戮。為了營救一個犯法的兒子，使全族數百口被殺，衛子夫的女兒、姐姐、姐夫、侄兒都死于非命。