1939年3月,率部參加高安會戰,在戰鬥中右膝蓋負傷。后經蔣介石批准,赴香港就醫治傷。期間得知抗戰期間軍人一律不能出國的規定,立即停止治療回國,結果留下後遺症,右腿有些瘸,因此被稱為瘸腿將軍。回國后于1940年11月,升任74軍58師副師長。
1941年3月,率部參加上高會戰。74軍因在此戰中表現突出,獲得中國軍隊最高集體榮譽飛虎旗,74軍也被稱為抗日鐵軍,成為最高統帥部直接掌握的戰略預備隊。
1941年9月,率部參加第二次長沙會戰。由于密碼被破譯,74軍的行動完全被日軍掌握,結果在春華山遭到日軍伏擊,但就在這樣被動情況下,58師依然突出重圍,雖然傷亡過半,但王牌軍的強悍還是令日軍都為之敬畏。1941年10月,張靈甫繼任74軍58師師長。
1942年5月,日軍大舉進犯浙贛路,74軍奉命緊急馳援。74軍對于穩定衢州等地的防禦至關重要,但在日軍后撤中國軍隊開始反攻,統帥部卻將74軍調走沒能參加反擊作戰。
1943年5月,率部參加鄂西會戰,58師表現相當出色,收復公安。
1943年11月,率部參加常德會戰,通常中國軍隊要對抗日軍1個聯隊就需要1個師,而58師和51師在此戰中以6個團對日軍6個聯隊,居然還能占得上風,在抗戰中也是很少見的,所以戰后張靈甫榮獲三等云麾勳章。
1944年5月,升任74軍副軍長兼58師師長。率部參加長衡會戰,因為表現優異,榮獲三等寶鼎勳章、忠勇勳章。