宣帝時期，霍家因為曾經毒殺過宣帝的糟糠之妻許皇后，被逐漸剝削權利，最終導致權勢滔天的霍家勢力徹底斷絕。當時的幕後黑手是霍夫人，霍光也在事後得知此事，然而卻將這件事隱瞞了下來。雖然當時沒事，但霍光死後，霍家嚐到了苦果。

許皇后的父親是許光漢，在一次酒宴中被張賀告知了這麼一句話：“皇曾孫是皇帝的近親，即使地位卑賤，也可能當關內侯，可以擇其為婿。”這裡所說的皇曾孫正是流落民間的宣帝劉詢，許廣漢聽說這件事後非常高興，決定將女兒許平君嫁給劉詢。

後來，許光漢請人做媒說合，終是將女兒許平君嫁給了劉詢。一年之後，平君生下了一個兒子，這就是未來的元帝。

元帝出生數月之後，昭帝突然駕崩，霍光等人擁立昌邑王劉賀為皇帝。但劉賀行為不端，整日淫亂後宮，僅僅在位二十七天就被霍光等人廢除。後來經過商議，眾大臣一致決定立劉詢為皇帝。漢宣帝即位後，許光漢的女兒平君被封為了婕妤。

皇帝有了，但是還缺個皇后，這該如何選擇呢？本來的話，皇后的位置就是許平君的。但是，公卿相議之後，還是決定另立皇后，都傾向於霍光的小女兒。而霍光也正有此想法，於是就任由公卿議論。

但是，宣帝是個十分重感情的人，他怎麼可能拋棄許平君呢？於是，宣帝下詔尋求微賤時的一柄寶劍。這詔書其實有著隱含的意思，宣帝就是透過這份詔書，告知公卿們“糟糠之妻不下堂”。最終，宣帝還是立了許平君做了皇后。

本來事情到此就應該結束了，但是還有人不甘心，那就是霍光的夫人。霍夫人一直就想讓其小女兒成為貴人，但始終沒有找到任何渠道。後來，許皇后因為分娩導致生病，這讓霍夫人看到了希望。

當時，有個女醫叫做淳于衍，她和霍夫人關係很好。淳于衍的丈夫賞是掖庭戶衛，他知道妻子和霍夫人的關係好，就想讓她去找霍夫人託關係，給自己調到待遇更好的安池監去。因此，淳于衍就找到了霍夫人求情。

霍夫人看淳于衍過來求自己，知道她時常入宮為皇后看病，於是心中有了歹毒之心。她叫左右迴避，神秘地對淳于衍說：“大妹你有事相求於我，我也有事相求於大妹子，可以嗎？”

淳于衍迴應說：“夫人的話，對我有什麼不好說的！”

霍夫人說：“霍大將軍極愛小女成君，想讓她成為貴人，此事就只有麻煩小妹了。”

淳于衍問：“如何動手呢？”

霍夫人回答說：“婦女生育大事，九死一生，今日皇后正要分娩，可乘機下毒藥死，這樣成君就可以當皇后了。如果事成，你我姊妹富貴同享。”

然後，淳于衍又問：“藥很多，且醫生要先嚐，那怎好下手呢？”

霍夫人回答說：“這就看大妹子的本事了。霍將軍是攝政王，誰敢說個不字。緩急相護，只怕大妹子不願鼎力相助罷了！”

此時霍光權傾朝野，確實沒有人敢說不。於是，淳于衍在沉思之後說道：“願意盡力！”說完就搗附子藥，帶入長定宮。

等到皇后分娩後，淳于衍取附子併合大醫大丸送皇后飲服，不多久皇后說：“我頭暈腦脹得厲害啦！藥中不會有毒吧？”

淳于衍回答說沒有但許皇后更加氣促，很快就死去了。看著許皇后已死，淳于衍就去向霍夫人回報，霍夫人對她表示慰勞，但未敢進行重謝，絲毫沒有當初說的那樣什麼富貴同享。

許皇后身死，皇宮開始徹查此事。後來，有人控告諸醫對皇后的護理失職，都逮捕入獄，要他們交代罪行。而霍夫人得知此事後非常害怕，就將所有事情都告訴了霍光，並對他說：“事情已經到了這等地步，就不要讓法吏拷問淳于衍了！”

霍光也是極為震驚，原來自己夫人竟然如此膽大包天，害死了皇后！不過，這畢竟是自己的夫人，他也不想因為此時連累到自己。於是，霍光奏明宣帝，簽署對淳于衍免予問罪之令。這件事因此告一段落。

霍光死後，霍夫人毒殺許皇后的事情終於還是暴露了，宣帝開始削弱霍家的勢力，最終除了霍光的小女兒外（此時已經被立為皇后），霍家被連根拔起。至此，宣帝劉詢也算是為糟糠之妻許皇后報了仇。