劉裕在桓玄面前表現得服服帖帖，所以桓玄從沒把他當成威脅，而且當意識到國內局勢發生變化時，第一時間想到的是遠在益州的毛璩。
毛璩一家三代都是東晉的忠臣良將，爺爺毛寶是平定蘇峻之亂的中流砥柱，父親毛穆之曾追隨桓溫南征北戰，頗有戰功。
這樣的家族也難怪會引起桓玄的猜忌，而毛璩也確實對桓玄頗有微詞。
404年2月，為了更好地控制益州，桓玄下詔加授益州督導官毛璩為散騎侍從官、左將軍。
只要毛璩接受任命，顯然就向世人宣示了自己的立場，那就是歸屬楚國桓玄，而桓玄也將更有威望。
不過天高皇帝過，毛璩並不打算服從，而是拘禁了使節，公然與桓玄對抗。
桓玄很是生氣，立刻任命桓希為梁州督導官，分派各將領駐防三巴，嚴密防守上游的變化。
毛璩也不甘示弱，向遠近散發文告，一條條列舉桓玄的罪狀，並派巴東郡長柳約之、建平郡長羅述、征虜將軍府軍政官甄季之，合力擊破了桓希的圍堵，接著率大軍東下，進駐白帝。
這時一直在旁窺探局勢變化的劉裕，終於找到了出手的機會，一場劇變即將展開。
北府軍無論對於司馬家族還是桓玄，都是有力的倚仗，桓玄雖然痛恨劉牢之，把他的舊部幾乎殺盡，可是也不得不選擇劉裕作為北府軍的新首領，並加以重用。
劉裕沒有背景沒有資歷，只是個臨時得志的小人物，在桓玄看來，只要挨過了立國之初的危機，天下再無威脅，那時候再屠滅北府軍，同時誅殺劉裕，永絕後患。
然而事與願違，這個小人物終於在天時地利人和的完美環境裡實現了逆襲，遠非桓玄能夠控制。
劉皇后曾力勸桓玄：「劉裕龍行虎步，雙目炯炯有神，不像是凡人，恐怕不會長久居於人下，不如早日除掉。」
桓玄無奈地說：「我正要平定中原，除了劉裕，沒有人可以使用，等關河肅清之後，再作商議不遲。」
時機稍縱即逝，就在桓玄打消殺劉裕的念頭之時，已經遲了。
當年曾在江陵得罪桓玄的劉邁，此時在京城擔任高級軍事參議官，雖然桓玄忘了昔日仇怨，但他可自始至終都銘記在心，值此天人共憤之際，暗中也有了叛變的打算。
他有個弟弟劉毅，家在京口，比他更為直接，已找上了劉牢之的外甥何無忌，秘密磋商討伐桓玄的具體事宜。
劉牢之死後，劉敬宣本是北府軍的指望，可惜他一早北逃，於是何無忌成了大家的焦點。
何無忌問劉毅說：「桓家強大，有什麼辦法對付？」
劉毅說：「天下大勢有強有弱，如若不能掌握形勢，雖然強大，也會變弱小，只是難以找到一個英明的領導人為大家指路。」
何無忌說：「草莽之中，並非沒有英雄。」
劉毅說：「我所看到的，也只有劉裕而已，可惜他早已背棄了北府軍的兄弟，成了桓玄的走狗。」
何無忌笑道：「據我所知，他雖明面上追隨桓玄，實際是臥薪嘗膽，尋求機會，而且我們一早就討論過這件事，只要閣下心意堅決，劉裕必不會令大家失望。」
劉毅恍然，表示全力支持。
何無忌便回去把此事告知劉裕，劉裕知道劉毅的才華橫溢，有此盟友，更有勝算了。
太原人王元德，及弟弟王仲德，當年響應前秦號召，聚眾起兵攻擊慕容垂，結果不能取勝，於是轉投東晉，得知桓玄稱帝後，本就不怎麼看好，便暗中與劉裕等人聯絡，準備恢復東晉政權。
平昌人孟昶，時任青州州政府主任秘書，青州督導官桓弘派孟昶前往建康述職，桓玄與他交談之後，竟大為欣賞，想到劉邁也是平昌人，便問劉邁：「在平民中我發現一位政府助理行政官，與你同州同城，你可認識他？」
劉邁一聽就知道是誰了，但他與孟昶素來不睦，回說：「我在京口時，倒是沒聽說過孟昶有什麼特別的才能，只聽說他們父子之間，經常互相寫詩吹捧。」
桓玄瞬間笑場，父子之間互相寫詩，這麼奇葩的家庭也當真是少見，於是取消了擢升孟昶的念頭。
孟昶得知此事，對劉邁大為痛恨，回京口後，也有了興兵作
