唐玄宗时,李林甫、裴耀卿、张九龄同为朝廷重臣。张九龄以直言敢谏著名,渐得朝廷大臣尊重。李林甫因此怀恨在心,伺机置张九龄于死地。
这时,宠妃惠妃与太子有隙,诬陷太子私结党羽,谋图不轨,求玄宗将太子废掉。枕边风吹多了,玄宗动了心,提到朝廷上讨论。张九龄坚决不同意,并说因一个女人之言就废立太子,实非圣君之所为。玄宗听了,不悦而退。李林甫乘机来到后花园,拜见玄宗,说张九龄亦为太子一党,故有此谏。自此,玄宗对张九龄产生了坏印象。
开元二十四年(公元736年),玄宗听从郡州之举,想加封郭觚人牛仙客为幽国公。张九龄认为此人不过善使谨慎保身之术,并无大功,不宜封此重爵,便相约了李林甫一同去诤谏。李林甫当面表示同意,但到了玄宗面前,张九龄面诤陈辞之后,玄宗和张九龄都看他的反应时,他却装作沉思之态,默然无语。玄宗仍坚持封牛仙客,张九龄坚持己意,说牛仙客目不识书,非科举出身,不过省俭而已,不宜重封。玄宗不悦,退身回后宫。李林甫又寻机会潜来,告诉玄宗:“张九龄固谏逼上,有不敬之罪,在用人问题上处处与皇上作对,只不过谋图树立太子党群,为自己留条后路而已。”