司馬睿任命為徐州刺史，不久又被征為軍諮祭酒，率部屯駐京口。
建興元年（313年），晉愍帝即位，以司馬睿為侍中、左丞相、大都督陝東諸軍事，命其率兵赴洛陽勤王。
當時，司馬睿正開拓江南，根本無意北伐。祖逖進言道「晉室之亂，並不是皇帝無道，百姓造反，而是藩王爭權，自相殘殺，給了夷狄可乘之機。如今北地百姓備受蹂躪，都有奮起反擊之志。大王如能命將出師，讓祖逖等人為統領，江北豪傑必定會望風響應，淪亡人士也會歡欣鼓舞。如此，也許可以申雪國恥。」
司馬睿雖不願北伐，卻也不便公開反對，於是任命祖逖為奮威將軍、豫州刺史，但卻只撥予千人糧餉、三千匹布帛，讓他自募戰士，自造兵器。
司馬睿的消極態度，並未動搖祖逖的北伐決心。
祖逖率領跟隨自己南下的宗族部曲百餘家，毅然從京口渡江北上，並在大江之中，用力拍擊船楫，立誓要掃清中原。
他在渡江後，暫駐淮陰，起爐冶鐵，鑄造兵器，又招募到士兵二千多人。當時，兗豫一帶有豪強張平、樊雅，占據譙城，聚塢自保，有兵數千人，只是在名義上臣服於司馬睿，接受其授予的官職。
張平部下還有董瞻、於武、謝浮等十多支小部隊，各有數百人。
建武元年（317年），祖逖進駐蘆洲，派參軍殷乂去聯絡張樊二人。但殷乂卻輕蔑張平，認為他不能保住頭顱。
張平怒殺殷乂，並擁兵固守，與北伐軍對抗。祖逖攻城不下，遂使用離間計，引誘張平部將謝浮。
謝浮借與張平商討軍情之機，殺死張平，率眾歸降。祖逖進據太丘，但因軍中乏食，處境艱難。
張平死後，樊雅仍占據譙城。樊雅率眾夜襲，直逼祖逖大營，軍中大亂。祖逖沉著指揮，督護董昭英勇殺敵，終於擊退樊雅。
祖逖又率部追討，卻遭到張平餘部的迎擊，便向蓬塢堡主陳川、南中郎將王含求援。陳川、王含分別派部將李頭、桓宣率軍助戰。
祖逖讓桓宣去勸降樊雅，桓宣單馬入譙城，對樊雅道「祖逖正準備蕩平劉聰、石勒，需要仰仗你作為後援。先前是殷乂輕薄無禮，並非祖逖本意。如果現在和解，既可建立忠勛，又能保全富貴。但若還要固執，朝廷派出猛將，憑你手下烏合之眾，依據一座危城，北邊又有強賊窺伺，萬無一全。」
樊雅遂出城歸降。
祖逖攻占譙城後，終於在豫州站住腳跟，打通了北伐的通道。桓宣則率部返回。
不久，石虎圍困譙城，王含又遣桓宣來救。石虎聞聽桓宣前來，撤軍而退。桓宣於是留在譙城，協助祖逖征討不肯歸附的塢堡武裝。
太興元年（318年），司馬睿在建康稱帝，建立東晉，是為晉元帝。
李頭在征討樊雅時，力戰有功，頗得祖逖禮遇，常嘆道「我若能得祖逖為主，雖死無恨。」
陳川聞知大怒，遂殺死李頭，李頭的親信馮寵便率所部四百多人投奔祖逖。陳川更加惱怒，派部將魏碩劫掠豫州諸郡，結果被祖逖派兵擊潰。陳川非常恐懼，便率部歸附後趙石勒。
太興二年（319年），祖逖出兵征討陳川。石虎則率五萬大軍救援，結果被祖逖擊敗。他洗劫豫州，帶著陳川回師襄國，並留部將桃豹戍守蓬陂塢。
太興三年（320年），祖逖派韓潛鎮守蓬陂塢東台，桃豹退據西台。
兩軍對峙四十餘日後，祖逖設計令趙軍以為晉軍兵糧充足，挫其士氣。他又在汴水設伏，盡奪石勒運給桃豹的軍糧，逼得桃豹退守東燕城。祖逖命韓潛進占封丘，壓逼桃豹，自己則進屯雍丘。
擊退桃豹後，祖逖又多次出兵邀截趙軍，使石勒在河南的力量迅速萎縮。
河南境內有趙固、上官巳、李矩、郭默等割據集團，各據一方，經常兵戎相見。祖逖遣使調和，示以禍福，曉以大義，使趙固等人都服從自己的統一指揮，成功收復黃河以南中原地區的大部分土地。
當時黃河沿岸還有一些塢堡主，迫於後趙兵勢，不得不臣服於石勒，送子弟到襄國為質。祖逖理解他們的處境，有時還會派出小股部隊，偽裝抄略這些塢堡，以表明他們並未歸
第一百五十一章 退
