一張針對元叉的大網徐徐展開。

幾天之後，元雍陪同皇帝一起來覲見靈太后，其間元雍對靈太后表示：“現在雖然天下大亂，但微臣並不擔心那些叛賊，臣只擔心元叉。因為元叉身為領軍將軍，手握禁衛軍，元叉的父親元繼又統帥著百萬大軍，弟弟元羅又被任命為都督青州、光州、南青州三州諸軍事，掌握三齊大軍。元叉沒什麼造反的心思還好，萬一元叉有此心，朝廷又如何應對呢？元叉雖然嘴上說不會謀反，但誰知道他心裡是怎麼想的呢？這件事不能不讓人憂懼啊。”

靈太后當即順著元雍的話表示：“是啊，元叉如果真的忠於朝廷，為什麼不辭去領軍將軍的職務，保留別的職務，繼續輔政呢？”

靈太后和元雍的雙簧，就是為了給元叉看的，因而，這話很快傳到元叉的耳朵裡。元叉大驚失色，惶惶然不知所措。此時的元叉雖然位高權重，但確實沒有造反之意，見皇帝、太后、丞相聯合起來針對自己，只得主動辭去領軍將軍的職務。不久，北魏朝廷又將領軍在外的京兆王元繼，也就是元叉的父親，召回。至此，元叉對皇室的威脅，減少了大部分。

當然，此時還不是徹底廢黜元叉的時候，因而，為了安撫元叉，北魏朝廷加封元叉為驃騎大將軍、開府儀同三司、尚書令、侍中、領左右衛將軍。同時，任命元叉的親信黨羽侯剛，為新任領軍將軍。

當然，對於侯剛的任命，只是個過渡。稍稍穩住元叉之後，靈太后很快任命侯剛為冀州刺史，開府儀同三司，將領軍將軍的職務收回。然後，沒等侯剛赴任，就又將其降為徵虜將軍。隨即，侯剛莫名其妙死於家中。

這時的元叉，雖然失去了統領禁衛軍的軍權，但仍然總管朝廷內外事務，因而，並沒感覺到什麼危險。可惜，元叉不知道的是，對他來說，失去了軍權，也就相當於失去了一切，包括生命。

對於要不要徹底廢黜元叉，靈太后有些猶豫。這時，不管是想要爭奪元叉手中權力的大臣也好，之前受元叉排擠、打擊的政敵也好，紛紛到靈太后及孝明帝面前，控訴元叉的罪狀，並一直將其罪名提升到要加害皇帝的高度。同時，也有一批大臣開始為之前被元叉、劉騰害死的清河王元懌鳴冤。靈太后和孝明帝終於決定廢黜元叉。

當然，多年經營，元叉黨羽眾多，勢力龐大，不能操之過急。

孝明帝先是趁元叉輪休回家，離開皇宮的機會，解除了他侍中的職務，也就是沒有了自由出入皇宮的權利。第二天，元叉再想進宮的時候，被侍衛阻攔，不讓進了。

此時，靈太后已經再次正式臨朝攝政。