他上任後做的第一件事是令總務廳將外交部門前的下水道疏通。原來的總理衙門前下水道淤塞，每逢雨天，門前積水就很深，每位外交官員只好由衙門的差役背進衙門。衙門改成外交部，陸征祥認為門口積水有礙北洋政府外交部形象，所以先清除了淤塞，讓門面有個新氣象。第二件事是免去部里一切部員的職，由他考察後再任命。他堅持寧缺勿濫的原則，新組成的外交部竟缺員一百五十名，袁世凱的侄兒也在被裁的一批人中。部里有一餘姓廚師，曾大得慈禧之寵，當年李鴻章亦怕他幾分，李曾考慮用西宴招待外賓，余不干，李只好作罷。余姓廚師還向當時外務總理施壓，委任自己的兒子任部里的秘書。民國成立後，余廚子以為陸總長不會不買他的賬，起先還不急，發現新外長果然行事與前清老爺大不同，就慌了神，余便帶了幾十隻火腿送到陸外長家，卻被告知趕快帶著火腿走。余廚子離開外交部一事不但在國內讓知情人稱快，連西班牙等國報紙也當新聞刊出，被看著是北洋政府外交部改革的風向標。
另一方面，陸征祥開始培養新人。他參考歐洲一些國家外交人員錄用管理制度，定出民國外交部錄用人員三大原則:1.一律經考核後擇優錄取;2.為防止地方派系主義，全國統一考試;3.長於一門外語者優先。他還要求外交部的官員必須學會一門外語。陸征祥真是躊躇滿志，意在改變外行官僚辦外交的局面，使北洋政府外交從此現代化。
當時國內各部官員都無按點到署的概念。陸征祥對自己的部員說:「我陸某無能無德，實愧任外交總長一職，但某有一長，即能按點辦公，故敢要求各位亦如此辦。「當時的外交部也真有一些新氣象。
就這樣，他組建起民國的外交部，創建了民國外交人才培養體系。第二次世界大戰時，他當年挑選的六十名青年已有三人任大使、十四人任公使了。民國第一屆內閣夭折後，陸征祥出任新內閣總理。但由於他本來一介書生，超然政治派別，自然失敗，只得辭職，仍任外長。1912年中華民國成立之初，派系之爭如同水火，內閣數次更迭，政府更像走馬燈，陸征祥也數次被「請「入閣復又出閣，幾沉幾浮。
陸征祥的性格註定他是要演悲劇的。他善良而軟弱，書生氣十足，有人形容他「謙謹和平而拙於才斷「，非常中肯。在一個不良的政治環境裡，這樣的書卷氣只能使他成為野心家的炮灰，成為派系傾軋的最大受害者，所以，他不但實現不了治國強國的理想，還往往客觀上做了野心家的幫閒、幫凶。如袁世凱稱帝一事，陸征祥是反對的，但袁世凱稱帝後，要他當外交總長，他又出任了。儘管他拒絕接受袁世凱的封爵授勳，但他畢竟在這個短命皇朝里稱過臣子，無論他怎麼為自己開脫說是為保存民國外交改革成果也罷，說是不得已也罷，都不能為自己洗脫這恥辱。
在任期間最令他痛心的還是簽《二十一條》，以及巴黎會議期間政府不斷施壓要他在《凡爾賽和約》上簽字。還是剛進入外交界時，正逢《馬關條約》一案。許景澄痛心地對他說:子欣，子欣，不可忘了馬關，日後當努力洗盡國恥，收我失地。出任外長後，陸征祥請林琴南寫了「不忘馬關「幾個字掛在辦公室，提醒自己勿忘國恥。可是，1915年，袁世凱為了穿龍袍，竟要在野的陸征祥再次出任外交總長，代表中國與日本就《二十一條》談判，並命他簽字。
明知是一個不平等的條約，不簽，日本一定會出動武力，當時北洋政府兵力弱，加上內戰，民眾已在水深火熱中，何堪再加日寇蹂躪?簽，實在不情願，他知道袁世凱不論簽不簽都要犧牲國家和民眾，他只有硬著頭皮接下這任務。《二十一條》簽字後，陸征祥感到身心俱瘁，他對袁世凱說:「我簽了字，也簽了自己的死案了。「《二十一條》披露後，全國上下群情激憤，人們遊行示威，聲討外交次長的曹汝霖和當時駐日公使陸宗輿，卻未提及主持談判的總長陸征祥，大家也都明白陸征祥是被臨時推出主儀的，是被迫簽的字。簽了《二十一條》後，陸征祥提出，北洋政府只有對德宣戰，方有希望在歐戰結束後收回國土國權，袁世凱不聽他的。後來黎元洪任總統復請陸征祥任外長，陸又提出如果
中國宣戰，他便出任。黎元洪不肯宣戰，陸征祥便不當總長閒居在家。直到段祺瑞任總理後對德、奧宣戰，陸征祥才
