韦皇后对李显说：

“张柬之等五个曾帮助陛下恢复帝位的功臣，本该赏功重用。

可是这帮人不配享有陛下恩遇，他们自以为政变立了大功，现在结党成帮，专权胡为，已经成为朝政社稷的一大祸害。

不能不想办法处置他们了。”

中宗李显信以为真，便和武三思离议对策。武三思说：

“对他们明升暗降。”

中宗李显下了诏令：

封授：

张柬之为汉阳王。

桓彦范为扶阳王。

敬晖为平阳王。

袁恕已为南阳王。

崔玄玮为博陵王。

罢五人实际官职。

让他们只是每个月初一、十五这两天上朝议政，这样朝政几乎和他们没有关系了。

改任：

唐休愔、豆卢、钦望为左右仆射。

韦安石为中书令。

魏元忠为侍中。

羽林将军杨元琰，在神龙政变时立了功，被李显封为弘农郡公。

这时他见武三思掌控朝政，五位政变功臣被罢免实际官职，自知难逃灾祸， 给李显上奏表说：

“我请求剃发为僧，把封授给我全部官职和爵位都归还陛下。”

李显不允许。

杨元琰这人胡须特别多，长了满脸络腮胡子象个胡人。

敬晖听说他要剃发为僧人，和他开玩笑说：

“你要剃发当和尚，为什么不先告诉我？我如果早知道,必劝皇上批准你的请求。

剃去你那像胡人一样头发胡子，只留下头脸多么干净清爽！”

杨元琰说：

“功成者退，不退必定招来灾祸。

我杨元琰请求削发为僧是真心实意，免得陷入危险处境啊！”

敬晖知道他话里的意思，深为感慨和无奈。

敬晖每次同张柬之谈起自古狡兔死走狗烹，只能捶床叹息，徒然忧愤。

杨元琰又请求辞职，李显又不允许，说：

“不批准你辞职，朕调任你为卫尉卿，去上任吧。”

张柬之担心有灾祸到来，对李显说：

“我已年迈苍老，请求辞去一切官职封爵，回老家度过风烛残年。”

李显问：“你故乡是哪里？”

张柬之说：“臣老家襄州”。

李显说：

“朕许你回归故乡，你去担任襄州刺史吧。”