皇帝忽然提前回长安，其实有政治上的原由。首席宰相张九龄一派人权重，他们自许为清流，为儒臣，讲究家世门第，以学问鸣清高，对办事务的官员多有压抑，而且，张九龄运用宰相的权力，时常以制度为依据而阻碍皇权。

李隆基无法忍受这些，他是有一套统治方法的，他用儒臣其实是作幌子，他明白那些儒臣迂阔，真正办起事来，并没什么用。

他的统治原则是王道和霸道并用，以能做事为主。对体制和出身，他并不重视，这是李隆基从他的祖母女皇帝处学来的。

皇帝回到长安，把张九龄集团都排挤出去，李林甫成了首席宰相，此外，皇帝所欣赏的朔(shuò)方节度使牛仙客，以前因出身低，为张九龄所抑而无法获得高位，现在，李林甫引荐他为工部尚书兼宰相，如此，朝政为之一变，由书生集团柄国转为事务人才柄国了。

但这些变动和杨玉环全不相干，她对朝中事很少去理会，关于张九龄集团的倒台，她是从哥哥口中得知详情——回到长安后，诸王都分开了，没有宫城的阻隔，他们出入方便多了，因此，杨鉴便能够时常来看妹妹。

杨鉴在私谈中表示了对张九龄失掉相位的惋惜，随后寿王进来了，他们就不再谈政事了，而杨鉴于寿王进来之后不久，就告辞了。