唐玄宗时，李林甫、裴耀卿、张九龄同为朝廷重臣。张九龄以直言敢谏著名，渐得朝廷大臣尊重。李林甫因此怀恨在心，伺机置张九龄于死地。
这时，宠妃惠妃与太子有隙，诬陷太子私结党羽，谋图不轨，求玄宗将太子废掉。枕边风吹多了，玄宗动了心，提到朝廷上讨论。张九龄坚决不同意，并说因一个女人之言就废立太子，实非圣君之所为。玄宗听了，不悦而退。李林甫乘机来到后花园，拜见玄宗，说张九龄亦为太子一党，故有此谏。自此，玄宗对张九龄产生了坏印象。
开元二十四年（公元736年），玄宗听从郡州之举，想加封郭觚人牛仙客为幽国公。张九龄认为此人不过善使谨慎保身之术，并无大功，不宜封此重爵，便相约了李林甫一同去诤谏。李林甫当面表示同意，但到了玄宗面前，张九龄面诤陈辞之后，玄宗和张九龄都看他的反应时，他却装作沉思之态，默然无语。玄宗仍坚持封牛仙客，张九龄坚持己意，说牛仙客目不识书，非科举出身，不过省俭而已，不宜重封。玄宗不悦，退身回后宫。李林甫又寻机会潜来，告诉玄宗：“张九龄固谏逼上，有不敬之罪，在用人问题上处处与皇上作对，只不过谋图树立太子党群，为自己留条后路而已。”
