全面抗戰爆發后，1938年10月，一二四師在師長曾蘇元的帶領下，馳赴羅山，阻擊日軍的進犯。

前進途中，曾蘇元召集團長們邊走邊研究，然后下達口頭命令：為保衛羅山縣城，決定在羅山縣城城東的任崗、城南小羅山、羅山城地區占領陣地，阻止日軍繼續西進。一二四師所屬的三個團，在各自作戰地區連夜趕筑工事。

10月3日拂曉，日軍沿公路向一二四師發起進攻，逐步迫近任崗及一二四師的主陣地。8時左右，日軍炮兵開始向一二四師主陣地猛烈轟擊。9時后，敵人步兵在炮火掩護下發起試探性沖鋒，逐漸進入一二四師主陣地前方有效火力網內。隨著師長一聲令下，一二四師槍炮齊發，日軍很快被打退。

12點后，日軍發起第二次攻勢。在猛烈的炮火掩護下，一部分攜帶毒氣的日本兵偷偷接近一二四師前沿陣地，企圖施放毒氣，被一二四師偵察哨發現，陣地上的官兵守兵立即捂上防毒的濕毛巾，后退到較高地點。等毒氣散開，日軍開始發起沖鋒，一二四師官兵立即回到陣地，萬彈齊發，挫敗了敵人的第二次進攻。

敵人見強攻不成，遂向一二四師陣地傾瀉大量炮彈。一二四師官兵隱蔽在事先挖好的堅固工事中，沉著應戰。下午2時許，日軍步兵第三次發起沖鋒，一二四師官兵奮起抵抗，激戰至下午5時，終于將敵人擊退。

10月4日凌晨，曾蘇元一面命令部隊抓緊時間休整，一面派出小股部隊騷擾敵人。夜1時許，一二四師偵察隊對信潢公路附近的日軍營地發起偷襲，燒毀了敵人的部分軍需物資。

天亮后，敵人繼續發起攻擊，一二四師頑強守衛陣地，打退了敵人四次進攻。下午三四點左右，日軍見久攻不下，派飛機飛來掃射、轟炸，給一二四師官兵造成很大傷亡。激戰之際，敵人援軍趕到，一二四師官兵臨危不亂，又一次打退了敵人的進攻。敵人見正面攻擊屢次失敗，開始實施迂回作戰，派重兵對羅山城南的小羅山高地發起了攻擊。駐守在小羅山的部隊是一二四師的一個排，雖然英勇抵抗，但寡不敵眾，陣地被敵人奪取。敵人遂在小羅山上架起機槍和迫擊炮，居高臨下向羅山城南關汽車站的一二四師師部指揮所掃射。曾蘇元立即命令師部戰士退到敵人機槍射程外，并組織了一個營的預備隊反攻，很快奪回了小羅山。

當夜，有偵察員報告說：又有日軍大部隊秘密向小羅山方向移動，準備襲擊一二四師陣地的側后。曾蘇元聞訊后，立即向上級建議：為了避免被敵人包圍，應該迅速放棄任崗及羅山縣城，將部隊轉移到羅山縣城西南二三里的子路河以西與欄桿鋪連接的山地上再設防線。得到上級批準后，曾蘇元立即命令部隊于5日零點開始撤退，經過羅山縣城向北轉移，撤到十幾里以外的子路河構筑新的防御陣地，同時派出小股部隊對敵人進行徹夜騷擾。

由于曾蘇元布置有方，一二四師掩護城內百姓從容撤出，“不損一人一槍”。天明后，日軍雖發現一二四師撤走，但苦于連日戰斗損失慘重，根本不敢追擊，過了好幾天都不敢進入羅山城。