正所謂樹倒猢猻散，當賈似道倒下的時候，曾經他的死黨也都紛紛開始背叛，而那些曾經最害怕他的人則全都跳出來開始拼命撕咬賈似道，做出一副不把他除掉誓不罷休的樣子。
當初那個全靠拍賈似道馬屁才得以升官的陳宜中此時已經被提升為知樞密院兼參知政事，讓人意料不到的是竟然是他第一個上書要求查辦賈似道的誤國之罪。
很多人都驚詫不已，甚至有人說陳宜中是要痛改前非了嗎？可是江萬里卻直接一句話給他定了性，狗永遠改不了吃屎，陳宜中之所以這麼大膽，是因為他不知道賈似道並沒有被元軍殺死。
但是此後為表示自己不是賈似道的哈巴狗，陳宜中甚至把賈似道的親信韓震誆到家裡，派人用鐵椎將其砸死，而後又開始氣勢洶洶的要找賈似道其他的手下算賬。
賈似道另外一個鐵桿手下廖瑩中也感到了事態的嚴重，這位賈似道首席文人，當初在賈似道向忽必烈求和時他曾撰寫《福華編》替他貼金，而後來賈似道過生日時，廖瑩中向他獻上肉麻的《木蘭花慢》。
宋度宗即位後，賈似道獨斷專權，一切朝事均由廖瑩中決斷，可以說廖瑩中既是賈似道的臂膀，又是無恥文人的典型。陳宜中開始的時候也曾想和他聯手，但後來卻發現這個計劃根本實施不了，所以他直接下定決心要除掉廖瑩中，因為廖瑩中終究有些才能。
讓人意想不到的是廖瑩中竟然是個忠義之士，絕不是陳益中那種反覆無常的小人，史書中記載了這段往事，當夜他悲歌雨泣，到五鼓方罷。廖歸舍不復寢，命愛姬煎茶以進，自於笈中取冰腦一握服之。既而藥力不應，而業已求死，又命姬曰：『更欲得熱酒一杯飲之。』姬復以金杯進酒，仍於笈中再取片腦數握服之。姬覺其異，急前救之，則腦酒已入喉中矣，僅落數片於衣袂間。姬於是垂泣相持，廖語之曰：『汝勿用哭我，我從丞相數十年，賓主之情無間，然今事勢已去，丞相必有南行之命，我命亦恐不免。年老如此，豈復能自若？今得善死矣。吾平生無負於主，天地亦能鑒之也。』於是分付身後大槩，言未既，九竅流血而斃。」雖說廖瑩中也許罪有應得，但與陰險狡詐和貪生怕死的陳宜中相比，他當然算一條好漢。
廖瑩中死後，謝太皇太后好像忽然轉了性，畢竟她也曾經依靠於賈似道多年，實在狠不下心將他殺死，一直都猶豫不決。
賈似道此時已經落水，那些昔日被他嚇得要死的人自然紛紛請求誅殺他。
高斯得請求誅似道，上不從。黃鏞、王應麟請移似道鄰州，不從。不久，有人要求「下詔切責」賈似道。於是，賈似道想回紹興，可守城者不給他開城門。後來朝廷「徙似道婺州」，婺州人到處張貼布告，把賈似道攆了出去。不久，監察御史孫嶸叟等，以為對賈似道的懲罰太輕，朝廷又把賈似道「徙建寧府」。可是翁合又說，建寧是朱熹故里，不能讓賈似道侮辱聖地，應該把他流放到更加偏遠的地方。接下來陳景行、徐直方等等紛紛上書，謝太后只好把賈似道謫為高州團練使、循州安置」，沒收其家產。
有意思的是在這個過程中一直都在和賈似道在明面上爭鬥的江萬里一黨卻一直都沒有說一句話，這一點也讓很多人都不由感嘆，看出了這也是一位高風亮節的高人。
按照宋朝法律，將大臣安置遠州時，必須有監押官一路看守，就象押送犯人一樣。那麼究竟該派誰去押送賈似道呢？這也成了朝廷的下一個議題。
而此時一直都和賈似道關係相當差的福王，終於在此時站了出來。說起來福王趙與芮的兒子就是宋度宗，可是當他的兒子做了皇帝之後，趙與芮只不過被封為福王，沒有得到太多好處。與此同時賈似道卻變得一手遮天，被尊為「周公」，地位遠在皇帝他爹之上。難道宋度宗就不想給老爸嘗點兒甜頭嗎？就算他想，又有什麼辦法呢？
曾經有人說過「兒子在上面當皇帝，老子在下面跪著，這成什麼體統呀？」不過在賈似道的維護下，沒人敢於這麼說，否則就會去地下和吳潛做伴。所以宋度宗清楚得很，必須把賈似道當作老祖宗看待，否則他的皇位就坐不穩。既然如此宋度宗當然要冷落自己的親爹，趙與芮當然要痛恨賈似道了。
總之當賈似道即將走上吳潛的老路時，趙與芮迎來了苦盼已久的報仇機會，開始
