早上1時，由薩摩軍野村忍介指揮的6個中隊，開始進攻笠岩。而在笠岩駐守的是黑川通軌第六旅團的4個中隊。政府軍依託有利地形頑強抵抗，野村忍介又派出別動隊攻擊政府軍的右翼，仍然無法撼動政府軍。午後3時，薩摩軍重新編組為三隊，從不同方向展開突擊，終於攻破了政府軍的左翼。為此，政府軍第五旅團和第六旅團各派出兩個中隊前往支援。河東佑五郎也參加了當日的戰鬥，他在《彈雨日記》回憶道：
「午後一時左右，敵冒我如雨發射之槍彈，遂攻登山頂，射擊如豆。我兵亦努力進行以期必死之攻戰，迂迴至密集部隊之側面，猛烈突擊。敵不能支其猛烈，遂提槍遺走。我兵見之，揚聲鬨笑。逃敵在此必死之場合，槍亦丟棄，不得攜負傷者而走。溝中湛滿鮮血，田中死屍橫列。山樹彈痕滿目，有如蜂巢，地上遺留彈夾成堆。如此激烈之戰爭，以至遺棄死屍，觸目悲慘，所未見也，實堪感慨。」
6月4日，薩摩軍的部署為：一部從正面逼近伊勢坂，另一隊從右翼迂迴，攻擊政府軍的左翼。其中以野村忍介一部為正面部隊，餘部再分為兩路，一路作為右翼，向安娛一帶壓迫政府軍的左翼；另一路作為左翼，自井睦前進，衝擊政府軍的右翼。此外，另有兩隊作為預備隊，隨時準備支援。擔任正面攻擊的是池上四郎的第二、第三大隊，由於池上四郎負傷，因此由越山休藏指揮。
正面攻擊從早上6時開始。在伊勢坂前沿堡壘中的政府軍。一槍未放就向後潰逃。興奮的薩摩軍緊追不捨。然而剛剛越過山稜線，薩摩軍就完全沐浴在政府軍齊射的彈雨之下。《西南戰記》中如此描述第一大隊本隊先進，陷政府軍之第一壘，直陟坂道。政府軍居高臨下，猛射如雹，勤王軍進必傷，退則死，無復一人完膚。」薩摩軍陷入苦戰之中。
青山町方向的戰鬥。即所謂薩摩軍之右翼，則繼續由野村忍介指揮，兵力增加為4個大隊，激烈程度更甚前日。佐佐友房在《戰袍日記》中講到自是本道戰鬥最劇，互據巨石為胸牆，互相射擊。距離不過一町乃是二町（一町等於19米）。鐵炮聲不斷，山鳴谷吼，乾坤為之撼動。……後二日，巡檢敵兵所據之地，到處血痕斑斕。又可裝彈藥五百發之空盒。在路旁有成百上千個。由之概算，敵兵一晝中所費多至十餘萬發。而我軍所費蓋不過三、四萬發。」在當日。政府軍遭到了重大損失，第五旅團長黑川通軌少將戰死。具體情況為：1時左右，在青山町指揮戰鬥的黑川通軌，被對面的土佐軍武士藤崎二郎所，他指示部下狙擊黑川，將其擊斃。而藤崎二郎也在同日被政府軍子彈擊中身亡。根據《西南戰記》，當日在青山町，「官軍死者一千一百五十二名，傷者一千二百六十五人。江田少佐、大迫上尉、外崎中尉、上野山、矢野兩少尉戰死、彥坂上尉以下士官十一名負傷。薩摩軍官死者藤崎二郎以下四十名，傷者亦不少，士兵傷亡亦有千餘人。」
午後3時，突然下起雷雨，雙方的射擊稀疏了下來。臨陣指揮的薩摩軍炮術專家村田新八下令全軍猛攻，山間到處是薩摩軍進攻的吶喊聲。為了支援步兵衝擊，在村田新八的指揮下，薩摩軍炮兵甚至將大炮推進到距離政府軍陣地只有不到3米的地方直瞄射擊。雖然政府軍依託堅固的工事和有利地形，毫不退讓，猛烈還擊，有數次甚至差點擊中了前敵指揮的村田新八。但薩摩軍的猛烈攻擊最終讓政府軍難以抵擋，由於德國顧問團都無法薩摩軍竟然敢將大炮放到這樣近的距離轟擊。在了政府軍指揮部的位置之後，村田新八不惜冒著彈雨親自操炮，炮彈正中政府軍指揮部，將指揮部直接摧毀，政府軍前敵指揮官曾我佑准少將受傷，身邊的參謀多人陣亡，德國顧問團亦有多人受傷，政府軍瞬間失去了指揮和聯絡，陷入了混亂之中。
6月日，依舊陰雨連綿，雙方激戰竟日。由於德國顧問直接指揮炮兵作戰，政府軍炮火分配和使用得到了提高，給薩摩軍構成了很大的威脅，薩摩軍第四大隊第五小隊長永山休二決心奪取政府軍的大炮，因而與防守炮兵陣地的、同樣由士族組成的政府軍近衛步兵發生了白刃戰。在戰鬥中，第一大隊第六小隊半隊長兒玉十郎再同近衛第一聯隊第四中隊作戰中陣亡。政府軍趁機反攻，但遭到薩摩軍步槍的猛烈射擊，因而最終失利。由於激烈的戰鬥，交戰雙方都有大量減員。曾我佑准不得不下令允
