刘腾死后，元叉在国内一手遮天，越发有恃无恐，对胡太后和元诩的监视措施开始松懈，还经常出宫游荡，在外留宿。
胡太后暗中得知这些情形，趁着元叉不在宫里的机会，对元诩和百官说：“而今隔绝我们母子，不准见面，还要我这个人干什么，我只有出家当尼姑，去嵩山闲居寺修道。”说着动手就要剪头发。
元诩当然不依，痛哭流涕地与百官叩头劝阻，而胡太后表现得更加可怜悲惨，元诩看在眼里，心里难过极了。
525年，元诩已有16岁，就算在21世纪的今天，也早就懂事了，何况早熟的古代，何况一国之君。元诩为了安慰母亲，一连数天在在嘉福殿就寝，与母亲密谋如何罢黜元叉。
没几天，元叉回宫，元诩把胡太后大发脾气，以及想要来往显阳殿的话，全都告诉元叉，又对元叉哭诉胡太后打算出家为尼，做儿子的如何忧愁悲伤，几乎每天都重复这些。
元叉起初不可思议，听得多了，也不再生疑，认为元诩的脑子秀逗了，已分不清亲疏远近，反而告诫他要多听母亲的话，并让他多与母亲见面，说什么也不能让当朝太后出家为尼。
有了元叉的首肯，胡太后得以自由出入显阳殿，南北宫之间来往密切，再无限制。
而元叉也丝毫不以为意，却不知胡太后正编织一张巨大的网，随时准备对元叉下手。
元法僧当初担任徐州督导官，还是元叉的推荐，结果元法僧无故叛逃，给国家带来莫大的灾难，胡太后借这一点，屡次抨击元叉，元叉虽然恼恨，却也只能吃哑巴亏。
舆论攻击的效果一向显著，朝中风向开始悄悄发生一些变动。
丞相、高阳王元雍的官位比元叉高，却没有实权，对元叉仇视已久，等到胡太后摆脱束缚，暗中找到她一起商讨除掉元叉的计划。
有了首脑的支持，胡太后终于出手了。
2月底的一天，胡太后突然有意无意地对元叉说：“元郎，你如果对政府忠心耿耿，不准备做出叛逆的事，为什么不辞去领军将军，只保留其他官职，继续辅佐皇家？”
领军将军不是一般的将军称号，有着掌管禁军的实权，元叉听完很是不爽，可是胡太后的说辞根本无从反驳，不接受就是叛逆，那可了得？虽然元叉一手遮天，却也不敢落下谋反的罪名，只得强忍怒气，接受了胡太后的指示。
第二天，元诩正式下诏擢升元叉当骠骑大将军、开府仪同三司、最高行政长官、总监察长，仍兼千牛刀替身卫士司令。
虽然缴回了禁军指挥权，但元叉的权势仍非同小可，所以直到此时，元叉都未想过自己竟会有倒台的可能。
反倒是胡太后有些忧心自己的计划了，担心元叉会玩命，最后搞得鱼死网破，所以变得有些犹豫不决。
穆亮的儿子穆绍再三鼓励胡太后早日除掉元叉，以绝后患，胡太后表现得仍不算积极。
元翊就不一样了，这个初生牛犊一旦认定了方向，势必不肯回头，不久便无故下诏解除元叉的总监察长一职。
如此一来，胡太后知道与元叉彻底撕破了脸，已然退无可退，于4月17日，再度登上显阳殿临朝主政，当天便下诏追削刘腾的所有官爵，剥夺元叉的所有公职，并从皇家名册上剔除名字，贬作平民。
政治这件事，说难也难，说简单也简单，难在人心莫测，简单则体现在利益分配上面，人心固然莫测，利益却是清楚可见的，或进或退，或上或下，无非都在于利益的多寡和抢夺利益的手段。
人心是浮动的，社会更是一潭活水，处在不断的变动中，于是形势总不会一成不变，而形势的变化直接影响当事人利益的分配，即便大同社会是存在的，利益分配总是不均，那时的人们当会接受差异，而在非大同社会，差异化是任何人都不能接受的，不能接受的后果就是会发生疯狂的抢夺，或是堂而皇之，或暗箱操作，或刀光剑影，或折冲樽俎。
元叉只是一个疏远皇族，最初借着与胡太后的关系而上位，上位后却把胡太后踢走，这于长远发展极为不利，毕竟没人喜欢忘恩负义之徒，所以元叉从一开始就得不到众人的真心。而且元叉本无大才，处理不好各种政治关系，又极端自负，终于自食其果。
朝臣们何其精明，明知元叉大势已去，当然不免落井下石，清河封国的禁卫司令韩子熙上疏替清河王元怿申冤，请求诛杀元叉。