曹雪芹的家族被考證為三國時代漢朝相國、曹魏武帝曹操的後代。

明朝天啟元年（1618年），努爾哈赤攻佔瀋陽、遼陽，曹雪芹的太高祖曹錫遠、高祖曹振彥等被後金軍俘虜，後來編隸佐領於正白旗包衣之中，成為了貝勒多爾袞的門人。曹振彥頗受多爾袞賞識，授為佐領之職，曾參與平定姜鑲起義。入關後，改任文官，歷任山西吉州知州、大同府知府、兩浙都轉運鹽使等官職。

順治八年（1651年），順治帝將多爾袞的正白旗收為己管，曹家成為內務府包衣，負責打理宮廷雜務。這時曹雪芹的曾祖父曹璽，也由王府護衛升任為內廷二等侍衛。

據悉，當年康熙出生時，需要一個有特別身份的奶孃來照顧，正好曹雪芹的曾祖母孫氏當時剛生完孩子，條件很符合，就幸運的得到了這份差事，她的兒子曹寅也和康熙建立起深厚的感情。

康熙即位，曹寅做了御前侍衛，同時也幫曹雪芹的曾祖父曹璽安排了一個官職。康熙二年（1663年），曹璽被任命為江寧織造，負責主管採辦皇室江南地區的絲綢，並監視南方各級官吏。康熙對曹璽極為重視，曾賞蟒袍，並親手寫“敬慎”的匾額賜給他，曹璽死後追贈工部尚書，並在約半年後南巡時，親自慰問曹氏家屬。

縱觀康熙後期，曹寅長期歷任蘇州織造、後又繼任江寧織造和兩淮巡鹽御史等職。江寧織造這個職位雖然只是替皇室採購日常物品，並不是多大的官，但卻可以得到不少的利益，幾十年來，江寧織造一直屬於曹家，可見康熙對曹家是相當信任的。

曹氏家族最為顯赫之時，康熙六次南巡，有四次由曹寅負責接駕。曹寅二女均被選為王妃。就因這層關係，曹寅晚年負債累累，虧空公家白銀數萬兩，幾次被朝臣彈劾都被康熙壓了下來。

康熙五十一年（1712年）曹寅病故，康熙命其兒子曹顒接替江寧織造職務。

康熙六十一年（1722年）康熙帝駕崩後，雍正帝即位。受政治鬥爭牽連，曹家逐漸失寵沒落，幾次由江寧織造貢入的織物不合格，受到雍正帝訓斥。

曹寅不像一個貪官，而是一個藏書家、刻書家、美食家，且精通詩詞、戲曲和書法。他廣交名士，養戲班，造園林，刻精本書，揮霍過度，奢靡成習，再加上官場應酬，王族親貴的需索，四次接待皇帝的花費，財務上才屢次出現虧空。

康熙五十年，兩淮鹽運就被查出虧空一百三十六萬兩。經協商，由商人補賠六十七萬兩，曹寅、李喣分賠七十萬兩。此時江寧織造也被查出虧空七萬兩，上供的織物又不合格。而此時曹家已經“無貨可賠，無產可變”，康熙知道曹寅苦衷，諭令李喣以及新任的兩淮巡鹽御史李陳常代曹家償還虧空，保全了曹家的官職、財產與性命。

康熙死後，雍正即位，朝廷開始整飭吏治，稽查虧空，曹家也因鉅額虧空被抄家，曹家從此一蹶不振，日漸衰微。雖然乾隆即位後寬免其欠銀，但曹家已然徹底沒落。

曹家的揮霍以致敗落的情節，與紅樓夢中的賈家均有相似之處。尤其是四次接駕，曹雪芹更是直接在紅樓夢中寫了出來。

紅樓夢第十六回：“如今還有江南的甄家，唉喲，好勢派！獨他們家接駕四次。要不是我們親眼看見，告訴誰也不信的。別講銀子成了糞土，憑是世上有的，沒有堆山積海的。”第十六回的脂批也寫道：“借省親事南巡，說出心中多少憶昔感今！”書中的四次接駕與元妃省親，就是暗指曹家的四次接駕。而紅樓夢中常提的“樹倒猢猻散”，更是曹寅生前常說的話。