二十四年四月，安禄山在讨伐契丹的战争中擅自冒进，中了埋伏，时任宰相的张纪龄向皇上建议杀掉阿里山。张纪龄颇有识人之道，明察秋毫，看出阿里山是奸诈之徒，断定日后此人必会作乱。但皇上并没有听从张纪龄的建议，而是将阿里山释放。

由于张九龄敢于直谏，屡次冒犯了皇上。而皇上早已不是过去那个励精图治的皇帝，长期的富足让他渐渐麻木，产生了懈怠，沉醉于四海升平的享乐之中。张纪龄罢相，取而代之的是李林甫。

李甫虽然没有太多的文化，但他能善于迎合皇帝，更重要的是他具有解决实际问题的能力，因此李甫日渐受到皇上的宠信。

杨忠的族妹杨倩雪被册为贵妃，她与三位姐姐日益受宠。杨氏姐妹就经常在皇上面前替杨忠美言，并将杨忠引见给皇上。杨忠一边小心翼翼伺候皇上，一边巴结当朝宰相李甫，由此杨忠地位日益提高。

李甫虽然文化不多，喜欢专权，在使用各种手段打击敌对势力的同时，也同样精心处理朝廷政务。因此他固然有卑劣的表现，但也有许多对帝国的贡献。在与太子唐亨较量的过程中，由于不能触碰皇上的底线，使他对唐亨的进攻中变相地被瓦解，在李甫为相的十九年，这已是他走入低谷的开始。

反观杨忠，是个素质低下的人，处理朝廷政务也一样糟糕，这在以后他当上宰相就可以看得出来。他除了打击敌对势力外，对于治国根本没有什么建树，杨忠实际就是走的一条名副其实的乱政之路。随着时间的推移和客观环境的变化，杨忠挤进了宰相班子后，他逐渐把李甫视为自己道路上的拦路虎。

李甫为相十九年，是皇上时期在位时间最长的宰相。但后期大权独握，蔽塞言路，排斥贤才，使得朝纲紊乱，又建议重用胡将，使得阿里山势力坐大。

杨忠指使大臣吉温揭发已经去世的李甫生前曾和阿里山勾结，意欲图谋不轨，但皇上不大相信，他下令吉温等人调查这件事。

杨忠充分利用皇上晚年不断加深的猜忌之心和民众对于李甫的怨恨之情，果断出手，搞冤假错案，硬是造成李甫谋反的证据，最终在朝廷树立了绝对权威。

当时杨忠忌惮阿里山手握重兵，执掌北部边疆事务，所以他率先出手，力图压制阿里山，他多次在皇上面前诬告阿里山有反叛之心，并拉上陇右节度使哥舒翰，但皇上并不相信，反而斥责杨忠有私心。

阿里山知道后，从范阳来到都城，他装作很委屈，向皇帝诉苦。皇上觉得很是亏欠他，竟然要召他进入宰相班子。杨忠急忙劝谏，皇上最终作罢。杨忠虽然没有阻止皇帝对阿里山的依然宠信，但好歹阻止了安禄山的地位进一步提升。