从国子监转太常侍，是多少儒臣梦想的事，但杨玄璬却婉拒了。他已得知升官是因女儿的关系，内心不以为然，他本身也有理由，因为他正在国子学中编一套书，至今尚未完成，他向杨慎矜说，希望能待书成后才离开国子监。

他坦诚地说出愿望，尽力避开谈及女儿，这使慎矜无法再进言。

原来，皇帝欲以杨玄璬为国子祭酒，他告知了高力士，命他看情形办，高力士调查了一下，发现杨玄璬的名声不够，年纪也不够大，资历威望都浅，他为司业时虽然很称职，但年数太短，而在国子学，资深人士又多，任命杨玄璬为祭酒，他可能无法胜任。高力士明白皇帝的心情，欲予杨玄璬一个卿地位，他曾设想授予光禄、大理、司农三个衙门的正卿之位予杨玄璬。但是，在经过商量之后，又觉得不适合，最后以太常少卿为名，诸卿中，太常卿为班首，官阶正三品，其他各卿、监都是从三品，在太常寺为少卿，只较其他的卿、监官位低一阶，又因为不是主管，调动起来较易，也不会为人所特别注意。

然而，杨玄璬却辞谢，很显然是因为知道了女儿身分变迁的来由。杨慎矜驰马赴骊山，把经过转告了高力士。