1695年，杭世駿出生在杭州一戶貧寒人家，雖然家貧，但杭世駿勤奮好學，只要見有好書，便想方設法觀看，並記下其中要點，而且還與同鄉梁詩正、孫灝等人組成讀書會，相互討論學問，待杭世駿成年，家中藏書多大數十萬冊，床榻案几，幾乎擺滿書籍！

1724年，29歲的杭世駿中舉，算是正式步入讀書人行列，然而，令人奇怪的是，這樣一位嗜書如命的學問人，此後12年，接連考了數次，都未能成為進士，雖然沒中進士，但杭世駿在杭州的文人士子中，地位卻越來越高，先是參與撰修《浙江通志·經籍志》，又以舉人的身份擔任鄉試考官，一般情況下，鄉試考官都是進士官員擔任，杭世駿能以舉人身份擔任，足見杭世駿威望之高！

1936年，41歲的杭世駿在浙江總督程元章的推薦下出來做官，先後擔任編修、御史等職位，但可惜的是，杭世駿做學問是一把好手，混官場卻是白丁1個，僅僅當了7年官，便被乾隆革職回家！

1943年，天降大旱，滿清朝堂烏雲慘淡，乾隆也有點急，循例下詔，開御史試，想要聽聽大臣們的意見，杭世駿見狀，以為乾隆是一位從善如流的明君，洋洋灑灑寫了一篇數千字的《時務策》，問乾隆：“滿漢的人才，頂多只有漢人的三四成，為什麼巡撫就佔了一半？為什麼總督全是滿人？杭州人才濟濟，為什麼數十年都沒有大的人事調動？難道是因為滿漢之分？”。

一篇文章，直指當時最大的滿漢矛盾，氣的乾隆是暴跳如雷，將杭世駿打入刑部大牢，想要將其處死，幸虧刑部尚書徐本極力求情，將頭都磕破了，這才保得杭世駿一命！

有人對乾隆說，杭世駿這種人是狂士，乾隆道：“這種狂士，只能收廢銅爛鐵！”。

得罪了乾隆，杭世駿的處境是相當淒涼，當時，杭世駿正在一戶人家宴飲，主人聽到這個訊息，立刻將杭世駿趕出，同僚見了他，如同見了瘟疫，紛紛躲避，杭世駿被罷官，返回杭州，窮困潦倒，這時，杭世駿想起了乾隆說的那句話，索性擺了個地攤，布招大書：“奉旨收廢銅爛鐵！”，一時之間，顧客盈門，生意興隆！

後來，乾隆南巡，召見杭世駿，問杭世駿：“你改過了嗎？”，杭世駿答道：“我老了，改不了！”，乾隆又問：“怎麼老了還不死呢？”，杭世駿答道：“我要歌詠太平！”，乾隆聽完，哈哈大笑，二人恩怨，一笑了之！