公元996年，張儉以優異的成績踏入仕途，此後便一發不可收拾，由於才華出眾，深得遼聖宗器重，成為了遼國宰相，任職二十多年來，立下了無數功績，雖然皇帝賞賜了很多東西給他，但是張儉始終堅持節儉的作風，將自己所得全都分給了別人，大家紛紛尊稱他為“賢相”。

當然，也有很多同朝官員並不相信，尤其是張儉的節儉過於誇張，遼國地處北方，非常寒冷，張儉一個冬天卻只穿著同一件皮袍，當時只要是有點條件的普通人家，準備的皮袍都不止一件。

張儉可是權傾朝野的大官，家裡就沒有多餘的一件像樣的皮袍嗎？如果是一年兩年如此，還不算什麼，可是久而久之，大家發現，他好像就只穿過一件皮袍，別說那些對手不相信，就連皇帝都有些不相信了。

張儉身居高位，每年的俸祿都有那麼多，怎麼可能只有這麼一件皮袍的，因為某些人的多次挑撥，遼聖宗還是決定暗中測驗一下，張儉是否只有這麼一件皮袍。

遼聖宗肯定不能當面問，為了保證君臣關係，遼聖宗隨便找了一個藉口，派人召見張儉，不過在途中，下人在張儉的皮袍上燒了一個小洞，遼聖宗和張儉聊了幾句就讓他離開了。

時間一晃而過，到了第二年冬天，張儉還是穿著同樣的一身皮袍來上朝，遼聖宗很快就看到了那個被燒的洞，於是下令，趕緊拿來一身最好的衣服給張儉穿上，還問張儉這麼多年來，為何不給自己添置一身衣服。

張儉搖頭道：“身為宰相，我自當以身作則，改變一些官員們的奢靡之氣，否則必將是一大禍患。”遼聖宗聽後大為感動，張儉為了遼國付出了太多，對張儉更加重用。

遼興宗登基後，張儉仍然盡心竭力，雖然無法徹底改變腐敗的現象，但他發揮的作用也是不可忽視的，直至公元1053年，張儉在家中病逝，享年91歲。