岳飛被以莫須有罪名賜死後，長子和部下張憲也隨後被斬首示眾，其妻李孝娥與次子嶽雷、三子嶽霖、四子嶽震、五子嶽霆一起被流放到了嶺南，後宋孝宗登基為岳飛平反，在嶺南的岳飛家人北歸江西，嶽霖收錄各方資料，由其子岳珂編著而成《鄂國金佗稡編》和《續編》，成為後世研究岳飛的重要史料。

而對於秦檜來說，在明知不斬草除根的情況下，岳家的家屬日後肯定會為其謀反，把自己打成賣國賊行列的情況下，卻沒攛掇宋高宗對岳飛滿門抄斬，徒留後患。

這肯定不是秦檜或是宋高宗善心大發，放過岳飛一家，而是大宋刑法中的硬性規定，連皇帝都不敢違背。

關於岳飛家屬為什麼能夠保全的問題，在小說《說岳全傳》中解釋說是韓世忠之妻梁紅玉，在得知了皇帝要殺岳飛全家時，讓丈夫韓世忠入朝阻止高宗下令，自己帶著二十名女將闖入秦府質問秦檜，秦檜嚇得躲在書房不敢出來，於是梁紅玉就對著秦妻王氏據理力爭，大罵秦檜賣國害忠的行為，甚至還有帶著秦檜兵諫的趨勢。

無可奈何之下，秦檜只好從後門出去，假裝剛從朝廷回來，說自己保奏岳飛家屬，除了已死的岳飛、岳雲外，其餘人都免除斬首，判了流放之刑，如此梁紅玉才算作罷，並陪伴在嶽夫人身邊，與她結為金蘭姐妹，隨時保護，在嶽夫人起身去雲南時，還派了四名得力家將保護著，讓秦檜無法得手，才總算保住了李孝娥、嶽霖等人的性命。

但這只是小說演義，將岳飛之死全部推到奸臣秦檜身上，把高宗皇帝給撇得乾乾淨淨，可事實上，根據大宋律法規定，即使是有謀反實情的，也只是自身賜死，其家人流放即可，沒有禍及家族，滿門抄斬的情況發生，而且對此還有很多可以憑藉戰功，靠錢財贖身以免罪的，其實岳飛也可以在這一情況之中，憑他對金軍造成的傷害來說，他要是肯曲迎一下，學韓世忠那樣交納家產的話，或許還不至於被下令賜死了。

在秦檜給宋高宗提供的所謂“岳飛罪狀”來看，最嚴重的一條不過就是罵高宗不修德，沒有進取心而已，這對律法寬厚的宋朝來說，也算不得什麼大事，還沒到“謀反”這樣大逆不道的程度，即使是使得宋高宗對岳飛的容忍度到達臨界點的“淮西兵變”中，岳飛也不過是因為宋高宗違背誓言，沒有將兇猛的淮西兵交給自己而辭職歸隱，最多就是一個“輕率”的罪名，也不入謀反的範圍。

只不過在宋高宗的有意為之，以及秦檜、張俊等人的故意渲染下，沒有謀反實情的岳飛才被按上了個“謀反”的罪名，被賜死，同樣在岳家軍掌握實權的岳雲和張憲也被斬首了，可是在此之前，掌握司法大權的大理寺極力保證岳飛之罪是“查無實情”，司法權和皇帝產生了衝突，多人為岳飛上書申冤，上至朝廷官員、下至布衣百姓，甚至連武將派系也開始質問秦檜，如此群情激昂的情況下，宋高宗再昏庸，也不敢妄自行株連大獄了。

何況自宋太祖制定了“刑不上大夫”的鐵則之後，歷代宋朝帝王多是在此基礎上，又繼續減輕刑罰，死刑之下最重的懲罰就是流刑了，一般都是流放到海南、廣東等當時還沒開發的煙瘴之地，又因為流刑期間路途遙遠，途中沒專人照顧，加上被判流刑者不得攜帶過多財物，加上氣候、押差等原因。

流放無疑是被判死刑，經常走不到一半就因病去世了，所以朝廷下令要有專人照看，流放沿途的館驛也要好好照顧，讓流放者可以安全到達流放地，連誤國殃民的蔡京等六賊，也只是判了流放之刑，何況是女流之輩的李孝娥，以及最大不過十六歲的嶽霖等人了。

不過宋高宗對岳飛怨恨已深，公然改變歷代宋帝的制度，將原本只判流放的岳雲、張憲兩人改成斬首，以增強岳飛“謀反”的證據，所以岳飛的家屬被判流放而不是滅族，看似是宋高宗和秦檜網開一面，實際上卻是司法所定，宋高宗雖身為皇帝，但也不能公然違背祖宗之法，殺岳飛已經是有點“違反祖制”，怎麼可能再加一條前所未有的滿門抄斬呢？天下悠悠眾口，又豈是如此好堵的。