吕贵妃看废立之事被张纪龄所阻，派太监牛贵儿联络张纪龄，说:“有废必有兴，如果您帮助我，您宰相的位子可以长久。”

这句话让张纪龄抓住了把柄，他立即进宫将太监的话告诉了皇上，本来正在犹豫的皇上明白了这次自己被吕贵妃利用了，他没有责备她，但废立太子的这件事不再提起，太子算是躲过了一劫。

太子唐瑛暂时没事，他的保护伞张纪龄却倒霉了，他直言敢谏早就不被皇上喜欢。在废立风波过去没有几日，皇上突然下旨罢免张纪龄和裴耀卿宰相之位，担任没有实权的左右氶相。

李甫升任正宰相，他对张纪龄还在朝很不满意，必须挤走张纪龄才能废掉太子。

监察御史周子谅引用图谶弹劾副宰相牛仙客，说他有篡位之心，不应当任宰相，说牛仙客昏庸无能还有情可原。但弹劾他篡位完全是胡说八道，皇上大怒，命人抓住周子谅一顿暴打，发配充军瀼州。

李甫上书说周子谅是张纪龄推荐的，他也应该负责，皇上正好想赶走这个烦人的张纪龄，下旨贬张纪龄为琼州长史。

张九龄前脚离开京城，皇宫里又上演了一场大戏。

吕贵妃回到宫中心中还是愤愤不平，感觉张纪龄走了之后就应该大展拳脚地干一番大事，不然就没有这么好的时机了，咸阳公主也是非常赞同，但是她们还是要好好策划一下。

吕贵妃派人告知三位皇子，谎称有贼人悄悄闯进她宫中，她想请他们来宫中帮忙抓贼。太子和他的两位兄弟显然是年轻单纯，缺乏社会经验，竟把她的话信以为真了。

热心助人的三位皇子穿上作战的盔甲，携带武器和护卫，骑马入宫来帮捉贼了。她见三人已经上当了，就赶紧去向皇上报告，说：“三位皇子造反叛乱，已经带人杀入宫中了。”

皇上本人就是靠发动唐龙政变，除掉皇后一党，继而得到皇权。他心中对兵变，闯宫这些情节非常敏感，当他看到三个皇子确实带着武器和亲兵入宫时，第一反应就是这三个人真的是要造反。