有一次，李隆基很看重一位叫做張守珪的將軍，認為他屢勝突厥，立有很大的戰功，應當獎賞。便找到張九齡，對他說：“張守珪的功勞很大，才能也不小，我想讓他到朝廷中當宰相，你覺得怎麼樣？”張九齡卻說：“這怎麼可以呢？宰相的權責實在太大了，必須由天下的精英來擔當，張守珪只會打仗，他怎麼能當宰相呢？”李隆基解釋說：“我不是讓他當實權宰相，只是讓他當榮譽宰相。”張九齡說：“那就更不行了。宰相的位置是國家最重要的寶貝，也是政府的威嚴所在，怎麼能把它隨便賞出去呢？

更何況宰相的位置是臣子的頂點，如果張守珪立下了更大的功勞，陛下你還拿什麼賞他呢？”一番話說得李隆基啞口無言，只好作罷。 這兩件事發生之後，朝廷中的大臣都讚揚張九齡有操守，敢於向李隆基直言進諫。但是李林甫的心中卻一動，他認為張九齡的處境其實已經很危險，看似駁倒了皇帝，實則已經受到皇帝的忌憚與厭惡，只是此時他還不敢肯定自己的這個想法，所以他耐住性子，依然兢兢業業辦事，同時將目光牢牢聚集在張九齡身上。

開元二十四年七月，秋天來了，李隆基送了一把扇子給張九齡。張九齡是個文人，十分敏感，立即想起“秋扇見捐”的典故，說的是到了秋天，夏天的扇子就該扔了。張九齡馬上寫了一篇《白羽扇賦》獻給李隆基，用詞很是悲切悽婉，其內容的大致意思是，我覺得我這個宰相很像夏天的白羽扇，馬上就要被陛下拋棄了。李隆基趕緊安慰他，說自己並沒有這個意思，還要重用你，請你放寬心。而實際上，李隆基的微妙心思已經被很多大臣看透了。 李林甫就是看透李隆基心思的人之一。

他十分高興，覺得張九齡已經被皇帝厭惡，自己可以試著出手，去打擊他了。而這樣的機會馬上就來了。 開元二十四年十月，東都洛陽忽然傳出了鬧鬼的訊息，李隆基當時就在洛陽，覺得很害怕，就在朝廷上對大臣們說：“這裡既然鬧鬼，我看我還是回長安吧。”張九齡表示反對，說：“陛下，你這樣做不合適。因為現在是十月份，農民的收割還未結束，你這時候帶著大隊人馬回長安，會阻礙農民的收割，影響糧食的產量。我看你還是忍一忍，等冬天農閒的時候再回去吧。”

李隆基一聽就怒了，心說真是豈有此理，這種事是可以等的嗎？萬一讓鬼害了我怎麼辦！可是他看到張九齡十分堅持，只好把心中的想法壓了回去，宣佈散朝。 群臣各自散去，只有李林甫一瘸一拐地走在後面，等到別的大臣都走光了，他也不出門。李隆基覺得很奇怪，便留下了他，問：“你是不是有什麼事啊？”李林甫回答：“我對於剛才的事，有一些和張九齡不同的看法。”這一下勾起了李隆基的興趣，便追問他到底有什麼看法。李林甫說：“洛陽和長安，就像陛下的兩個家一樣，現在陛下要從一個家回到另一個家，這是很平常的事，我認為只要陛下自己做主就好了，不必問外人。

至於打擾農民收割的事，只要免掉他們的租稅，就足夠補償了，何必為了這個原因連家都不敢回呢？”李隆基聽了李林甫的話十分高興，認為他很替自己著想，想事情也很細緻周到，便決定馬上起身回長安。而從這時開始，他心中的天平開始發生傾斜，認為李林甫比張九齡更適合做一個宰相。有一次，李隆基聽底下官員向他稟報，一個名叫牛仙客的河西節度使工作做得特別好，等他離任時，後任節度使發現河西的倉庫裡有用之不盡的物資。

李隆基聽了之後很感興趣，便派人去調查牛仙客的事蹟，結果發現事實比底下人報告得還好。這下李隆基十分高興，認為牛仙客是大唐官員中的標杆人物，必須加以鼓勵和讚揚，於是打算重賞牛仙客。 可是有了上次張守珪事件的教訓，李隆基並沒有將牛仙客提拔為宰相，而是退而求其次，想任命牛仙客為六部尚書。李隆基心想：“我已經退了一步，張九齡應該不會反對了吧？”沒想到張九齡還是反對了，他振振有詞，說：“陛下，尚書是德高望重的大臣當的，牛仙客不過是守衛邊境的一個武將，出身很低，他沒有資格當尚書！”

李隆基聽了很生氣，卻還是耐著性子說：“既然不能賞他的官職，那就賞他一個實封爵位吧，這樣他既有面子，又可以向底下的封戶收租，可謂兩全其美。”張九齡說：“這也不可以，實封爵位是賞賜給有功之臣的，牛仙客只是把本職工作做好，這算不得功績，更不值得大肆表彰。如果陛下非要賞他，那就賞他些錢吧。”李隆基聽了大怒，當即宣佈退朝。 張九齡大步流星地走了，李林甫卻留了下來，悄悄對李隆基說：“我覺得牛仙客是個人才，就算當宰相也是合格的。張九齡一味看重大臣的出身，並因此把好多人才拒之門外。這分明是書生之見，陛下不用聽他的。”李隆基聽了十分高興，說：“還是你懂我！”於是堅定了重賞牛仙客的決心。

張九齡和李隆基兩人的矛盾日漸激烈，再加上小人李林甫從中作梗，小編覺得，這大概就是後來為什麼張九齡罷相的原因了，在這樣的情況下，任誰也待不下去啊，自己的主上都不待見自己，可憐張九齡為了考科舉苦讀經書，如今他的才華能得到張說的舉薦，然而張九齡似乎並，沒有得到李隆基的欣賞啊。