此後，沈鴻烈便放眼全國，大力招攬人才，把他昔日不得志的同學，儘量吸收到東北來。
如凌霄、方念祖、謝剛哲等二十餘往日的同學，都是先後投奔他來到東北的。
有了這些海軍人才，沈鴻烈便沉下心來，創建東北海軍。
首先，建立東三省航警學校。該校最初叫葫蘆島航警學校，校址設在奉天省錦西葫蘆島炮台山右側的八號洋樓。
後來改名為東北航警學校、東北海軍學校等。
當時的校長是海軍上校凌霄，教育長是海軍中校方念祖，佐理官是海軍中校陳華森，學監是海軍少校戴修鑒。
以下設有兵學教官，分任航海、船藝、槍炮、魚雷、輪機、氣象、海洋，以及海戰術，炮戰術等科；另有大學數學、物理、化學等專業教官。
學校初設軍官班和學兵班兩種。
學生隊有隊長、班長，學兵隊也有隊長。
在1921年冬，先招考海軍學兵隊、水兵隊和輪機兵隊，各200名。
1923年春，在瀋陽招考航海將校學生班。報名學歷限定中學畢業或有同等學歷者。
報名者不多，約有五百人，錄取40人。又為浙江督軍盧永祥代培7名。
這一期入學共為47名。1923年4月1日，正式開學。1926年9月畢業，真正訓練出來的在海防艦隊服役的只有27名。
這是東北海軍學校培養的第一期海軍軍官。第二期招考38名，畢業的只有33名。兩期畢業在海防艦隊服役的只有60名。
但是，這就逐漸形成了中國海軍的東北系，同以正統自居的閩系海軍，形成北南對峙的格局。
東北海軍在中國海軍中占有了重要的一席之地。
學兵班共辦了6期，培養了海軍士兵1090名。
這所海軍學校的創辦，為東北海軍的建立和發展，做了必要的人才準備。
這也是張作霖命令沈鴻烈創辦該校的初衷。
其次，籌建東北海軍艦隊。當時東北自己沒有軍艦，向外國購買也不容易，只得著手改造商船。
向煙臺政紀輪船公司購買2500噸級的商船1艘，改造後命名為「鎮海」軍艦；
向日本購買2500噸級的廢商船1艘，改造後命名為「威海」軍艦。
又徵召中央海軍煙臺海軍學校的8年制畢業生，來東北海軍服役，共招來三十餘人。
他們都上了軍艦，解決了艦隊基層軍官不足的難題。
1923年，「鎮海」軍艦正式成軍，第一任艦長為海軍上校凌霄，副長為海軍少校盛建勛，輪機長為海軍少校張振艤。
第二次直奉戰爭，奉軍獲勝。沈鴻烈向張作霖所作的「海防無虞」的保證，得以實現。
從此，張作霖對東北海軍的建設更加支持。
不久，「威海」軍艦也繼續成軍。又將在塘沽接收的1000噸級的俄國破冰船命名為「定海」軍艦。
還購入了300噸級的日本舊魚雷艇，命名為「飛鵬」軍艦。
至此，東北海軍艦隊就以「鎮海」、「威海」、「定海」、「飛鵬」4艦組成。
凌霄任代將艦隊長。代將是東北海軍軍銜，介於上校和少將之間。
方念祖任「鎮海」艦長，宋式善任「威海」艦長，馮濤任「定海」艦長，
謝渭清任「飛鵬」艦長。沈鴻烈升任中將司令。
第二次直奉戰爭後，東北海軍擁有江防、海防兩支艦隊，以及一所海軍學校。但東北海軍的實力還很弱，沒有一艘真正的軍艦。
第三，巧妙接收渤海艦隊。東北海軍成立後，面對的勁敵就是渤海艦隊。
渤海艦隊擁有3艘巡洋艦、2艘炮艦、1艘魚雷艇，是一支實力雄厚的正式艦隊。
東北海軍根本不能望其項背。和平地接收渤海艦隊，是沈鴻烈面臨的一大難題。
但是，直奉二戰後，直系失敗，歸直系管轄的渤海艦隊陷入困境。
連餉銀都發不出來，欠餉達3個月之久。太阿倒持，軍令廢弛。
軍官聚賭，士兵放假，軍艦失修。艦底的蚌殼附著物厚達一尺多，艦速大大降低。
