漢武帝算得上是一個蠻有爭議的皇帝，他這一生有著很多的功績，不僅在對匈奴的戰爭上取得了久違的勝利，而且還在政治和吏治上都有進步。但是他也是有一些缺點的，除了多疑之外還有對於權力的太過分的看重，而這一種看重也是後來導致了他和太子以及太子身後的衛家的矛盾的原因。

衛家能夠在漢武帝面前得到重視最先靠的還是衛子夫，衛子夫最開始只是漢武帝姐姐家的一個歌女，而漢武帝在見到了她之後就喜歡上了她，還把她接進了宮裡，最後還成為了皇后，生下了太子劉據，大臣們甚至是民間的人們都知道漢武帝那是十分的喜愛皇后和太子的，而衛家也是慢慢的成長起來了。

除了衛子夫這個皇后之外，其實對衛家的地位起了很大作用的應該是衛青這個大將軍，他在軍隊中特別的有才能，立了很多的功勞。可以說漢武帝之所以能打贏了匈奴和衛青以及霍去病這兩個人都是分不開的，所以在朝中衛家的人是特別受到重視的，那個時候皇后雖然不那麼受寵了，可是好歹太子還在，只要他們兩個不犯什麼大錯誤的話，衛家就可以這樣一直顯赫下去，這是大家都很認同的事情。

但是哪裡有一直榮耀的好事，衛家在輝煌過之後也開始慢慢的出了問題，當然問題主要是從皇后和太子那起來的，畢竟他們是保護衛家的最有勢力的人，但是卻是從他們身邊的人開始處理的，這就是漢武帝晚年的那一場由於巫蠱所發生的禍事，牽連了無數的人，不僅衛家都被處理乾淨，就連皇后和太子都失去了性命。

首先其實還沒有牽連到太子，只不過是衛家的孩子和衛子夫所生的公主被牽連了，當然經過了這一輪之後太子確實少了很多的幫手，但是當時大家也都沒有以為太子會出什麼事情。可是大家都沒有想到江充會有那麼大的膽子把太子也給捲進了這件事裡。漢武帝當時年紀大了，身體還不舒服，一時糊塗就要處罰太子，可是太子覺得自己特別的委屈，肯定是不會乖乖的被抓的。

後來就有太子起兵的這件事發生了，漢武帝一聽就更生氣了，而且明顯太子的軍隊是打不過皇帝的，所以後來太子起兵失敗了之後皇后就在宮裡面自殺了，太子在出逃了一段時間之後也是自殺了，但是憤怒的漢武帝還是沒有放過太子的孩子和妻妾們，把他們全都殺掉了，只在大牢中留下了一個剛剛出生的嬰兒，可以說是被處理的很慘了。

到那個時候為止衛家真的是沒有人了，也完全的沒有了權利，畢竟那些可以撐起來家族的人都已經離去了。後來漢武帝也是認識到了自己可能誤會了太子，把那些之前冤枉了太子的官員都殺掉了，還建立了一個建築用來思念自己的兒子，但是怎麼思念都沒有用了，太子永遠的離開了，衛家也是再也不像從前那樣了。