4月3日，日军赤柴旅团第10联队攻陷台儿庄南门外黄庄、边庄、孟庄等地；福荣第36联队攻下台儿庄东南门，同时投掷催泪瓦斯弹，中国守军牺牲十之七八，退守西关，只剩下台儿庄西北一角，形势十分危急。为挫败日军猖狂进攻，台儿庄外的汤恩伯、张自忠两支部队奋勇作战，接连打了几个胜仗，才使形势有所变化。3月底，板垣征四郎认为汤恩伯集团军是他扫清台儿庄外围障碍的主要敌手，就派他的王牌部队——仙岛联队沿潍台公路进攻兰陵、洪山两地的汤恩伯部队，妄图拊汤恩伯集团主力之背。汤恩伯晓得板垣征四郎这一着极为毒辣，急忙将集团军主力后撤，回师解洪山、兰陵之围，两军外围部队展开一场决战。板垣征四郎利用机械化部队的快速机动能力，抢占有利地形。汤恩伯部队行动缓慢，其指挥机关大都处在仙岛联队大炮的射程之内，形势十分不利。汤恩伯与第85军军长王仲廉、第54军军长关麟征紧急研究对策，认为只有迅速发动攻势才能解救危急局势，便突然发动猛烈攻势，使3000名日军处于被动挨打地位。汤恩伯集团军先以大炮机枪猛轰，接着派敢死队冲上去展开白刃肉搏，再辅以火攻，打得日军人仰马翻，叫苦连天。仙岛联队几次拼死突围，都被中国部队击退，刘庄的500名日军被全部歼灭，中国部队夺得日军战马50匹。围攻兰陵的板垣师团仙岛联队受到内外夹击，狼狈地向板垣师团的后方向城逃走。汤恩伯哪里肯放日军逃跑，紧追不舍，在向城又歼敌一部，遂将板垣师团的仙岛联队基本歼灭。板垣征四郎得到仙岛联队几乎全军覆没的消息，大发雷霆，急派坂本旅团前往解救仙岛联队残部。坂本旅团受命，急速向爱曲、向城一线进犯，袭击关麟征的第54军。
第三部分兵败台儿庄（3）
汤恩伯不敢大意，忙命王仲廉的第85军和周NB96A的第75军增援，很快在台儿庄以东的底阁杨楼对日军形成包围态势。中国部队断定这里是进攻台儿庄的日军坂本旅团的后方勤务机关所在地。此地的日军3000人由板垣和矶谷两师团人员组成，只要能将这两个师团混合在一起的敌人消灭，进攻台儿庄方面的矶谷师团主力将不战而退。汤恩伯集团军将士军心大振，抓住难得的时机发动猛烈进攻，双方几度肉搏冲杀，阵地几易其手。中国部队越战越勇，毙敌1300多人。日军旅团长坂本感到情势严重，再恋战即有全部被歼之虞，就下决心以坦克开路拼命突围。中国部队指挥官料到日军要逃跑，早已下令以密集炮火组成强大火力网，封锁住日军逃跑的通道。日军坦克车一到，就开动平射炮击毁坦克，再集中火力消灭步兵，最后冲上去展开肉搏战，终于把企图突围的日军全部消灭。坂本看突围不成，只好横下决心，依托碉堡固守待援。汤恩伯调动平射炮将日军碉堡全部轰塌，又挑选敢死队冲入敌人阵地，逐条街道展开激烈的肉搏战。中国军队士气高昂，兵力又占绝对优势，经2昼夜浴血奋战，坂本旅团被消灭一半，被俘100多人，坂本旅团长带领残兵败将仓皇而逃。矶谷廉介得知坂本旅团在底阁杨楼被消灭大半，当即决定下令后撤，匆忙之中坦克汽油用尽，又抛弃坦克乱放空炮，掩护师团主力后撤。
汤恩伯集团军分路发动进攻，以秋风扫落叶之势收复台儿庄周围被日军占领的大片乡村，解除了日军对台儿庄的威胁。在台儿庄内，池峰城率领全师官兵执行蒋介石亲自制定的“磁性战术”，以巨大的伤亡诱敌深入，在台儿庄与矶谷师团激战7昼夜，打得相当艰苦。在关键时刻，接到汤恩伯、张自忠在外围连连告捷的喜讯，池峰城在4月5日夜间率领敢死队向日军据点发动攻击，经3小时夜战，将台儿庄内的700名日军层层包围。日军旅团长濑谷见已成瓮中之鳖，官兵又丧失斗志，便下令余部从台儿庄内外抽身撤退。1938年4月6日晚，中国部队在台儿庄战场发动全面反攻：汤恩伯军团从外线包围进攻，孙连仲集团从正面进行内线扫荡，两路大军夹攻，不到2小时，便把台儿庄内外的日军全部歼灭。4月7日凌晨，中国部队冲出台儿庄向北追击，矶谷廉介还算明智，认为再投入日军也无济于事，下令北撤。中国部队追至红瓦屋又歼灭日军几百人，日军坂本、濑谷两支队狼狈逃窜。台儿庄战役胜利结束。台儿庄之战，中国军队摧毁日军第5、第10两个师团，歼灭日军2万余人，缴获了大批武器和装备，为中国取得平型关大捷之后的第二次大胜仗，是抗战以来国民党战场取得的最重大胜利。第5战区司令长官李宗仁满怀豪情地向蒋介石报告喜讯：“台儿庄之役在委座亲自指挥下以胜利告终。台儿庄捷报传出之后，举国若狂，京、沪沦陷后，笼罩在全国的悲观空气，至此一扫而空，抗战前途露出一线曙光！”蒋介石听到台儿庄大捷的消息后，喜形于色，虽“力戒因此次胜利带来骄傲”，“所有宣传应努力报道事实，慎勿夸张”，但他却过高地估计了台儿庄战役的作用，错误地认为日军已失去决战能力，便向徐州附近调集60万重兵，决心扩大台儿庄战役的成果。日军一直在捕捉中国部队主力，这下找到了目标，就调集华北、华中派遣军，气势汹汹地向徐州扑来，徐州会战进入第三阶段。
第三部分损兵占空城（1）
日军在台儿庄大败的消息传回东京后，日本内阁和军部受到巨大冲击。在内阁会议上，内务相马场瑛一对陆军大臣杉山元等大肆攻击，硬要全体内阁成员为2万被消灭的日本侵华官兵鞠躬默哀，还提出要与杉山元一起辞职，以此向日本军部施加巨大压力。杉山元竭力为自己辩护，声称日军大本营在台儿庄战役中有重大发现，那就是发现中国在徐州地区集结有四五十万重兵，尤其是汤恩伯率领的中央军第20集团军不可轻视，现在好不容易抓住了中国军主力，应坚决放弃“战局不扩大方针”，下决心集中日军主力部队，在徐州地区歼灭中国部队主力，打通津浦铁路，使华北、华中占领区和北平的伪“中华民国临时政府”、南京的伪“中华民国维新政府”两个伪政权连成一片，根本上改变日本侵华局势，彻底打败中国军队。杉山元和日本军部首脑的意见得到近卫内阁的同意，1938年4月7日下达了大本营陆军部的命令：
大陆命第84号命令一、大本营企图击破徐州附近之敌。二、华北方面军司令官应以有力之一部击破徐州附近之敌，占据兰封以东陇海线以北之地区。三、华中派遣军司令官应以一部占据华北方面军司令官之前项徐州（不含）以南津浦线及庐州（合肥）附近。四、详细事项由参谋总长指示。
日本内阁通过进行徐州决战的方针后，杉山元伙同海军大臣米内光政提出以海军大将末次信正代替马场瑛一出任内务大臣，近卫文不敢反对，又拉他的好朋友、内大臣木户幸一进内阁出任文部大臣，共同策划徐州会战方策。在大本营联席会议上，杉山元提出要从中苏边境调关东军进关参加徐州会战，参谋本部次长多田骏、作战部长石原莞尔坚决反对：“无论战争打到什么程度，满苏边境的国防军绝对调动不得，万一苏俄发动进攻怎么办？谁要这样做就是帝国的罪人！”杉山元强调侵华日军不够使用，必须动用赫赫有名的关东军。石原莞尔不以为然，指出当时山西战场沉寂，华北方面军可抽调部分兵力；华中方面也没有大的军事行动，南京附近的日军可以调出，不必调动关东军。大本营会议同意石原莞尔的意见，决定由寺内寿一大将统一指挥进攻徐州。寺内寿一1878年生于东京，日本陆军士官学校、陆军大学毕业，曾在中国东北参加日俄战争，历任参谋本部部员、步兵联队长、师团参谋长、驻朝鲜军参谋长、侵台（湾）日军司令官，1935年升任陆军大将，1936年任广田内阁陆军大臣，1937年任侵华日军华北方面军司令官。此人是日本已故首相寺内正毅的长子，自幼受寺内正毅和日本元老和军阀们的刻意培养，军国主义情绪高涨。寺内寿一被任命为徐州会战的日军最高指挥官后，急电板垣征四郎、矶谷廉介两个师团长飞赴天津，商议进攻徐州方策。两个台儿庄之战的败军之将本以为要受申斥，却受到寺内寿一以礼相待，板垣和矶谷都表示要打个大胜仗以报知遇之恩。在商议进攻徐州的战略战术时，寺内寿一提出再增加一个师团仍由台儿庄进攻徐州，板垣征四郎提出采取大迂回战略，即先不攻徐州，而是出兵截断中国部队西退之路，然后再逐以击破、歼灭。矶谷廉介也赞成板垣征四郎的意见，提出自蚌埠向北发动攻势，以钳形攻势包围徐州，全歼中国部队主力。这时，寺内寿一接到了日本大本营制定的作战方案：
徐州附近作战指导要领草案昭和十三年（1938）4月7日大本营陆军部第一，方针以华北方面军有力之一部及与之相策应之华中派遣军之一部击破苏州附近之敌，并占领津浦线及庐州附近。作战开始预定为4月下旬。第二，要领一、华北方面军以约4个师团向陇海沿线采取攻势击破敌军。为此，以主力由北方击破徐州附近之敌，并以约1个师团由兰封东北附近向归德方面敌之退路进攻。二、华中派遣军以约2个师团（一部担当后方警备）由南方策应华北方面军作战。为此，沿津浦线地区进击，尤须尽力断敌之退路。三、华北方面军占领徐州以北津浦线并击破敌军后，即占据兰封以东、陇海线以北地区。四、华中派遣军在击破敌军后，即占领徐州（不含）以南津浦线及庐州附近。五、两军应密切配合作战。六、本作战结束后，华北方面军应将约3个师团配置于黄河以南；华中派遣军将约2个师团配置于徐州（不含）以南津浦线及庐州附近。
第三部分损兵占空城（2）
不久，杉山元派参谋本部作战部长桥本群少将等幕僚组成“大本营派遣班”前往徐州战场，负责大本营与寺内寿一之间的联络事宜，对会战进行必要的现地指导。寺内寿一和桥本群、板垣征四郎、矶谷廉介制定了以黄口为总目标、四路大军南北夹击徐州的作战方案：南路以蚌埠为起点，沿涡河西进攻蒙城，再渡涡河北上，经永城县直攻黄口；北路由微山湖经济宁、金乡、鱼台迂回黄口；又安排两路佯攻，即南路由蚌埠攻宿县，东路由淮阴进攻徐州以东的陇海线，迫使中国部队四面设防，掩护日军主力部队在西部发动进攻。这样，为报台儿庄之仇，日军从北平、天津、山西、绥远、江苏、湖北各战场，增调30万大军，配备各种重武器，从4月中旬开始，分多路对徐州实施大包围，企图一举歼灭中国军队主力于徐州地区。这时，蒋介石为台儿庄局部战争的胜利所陶醉，一心想扩大台儿庄的战果，打算再制造几个“台儿庄大捷”，也从各战场调集部队，使李宗仁指挥的第5战区部队达40多万人。从1938年4月中旬开始，日军北路军指挥官羽源田之助首先从鲁南发起攻击。为戴罪立功，日军第10师团长矶谷廉介从兖州抵达枣庄，策划进攻战术，命令坂本、长濑两个支队从郭里集附近出发，濑谷支队从峄县发起进攻，与中国部队发生激战。4月19日，日军国崎支队猛攻临沂，张自忠、庞炳勋运用与日军作战的经验率部奋勇抵抗，以伤亡1300余人的代价，歼敌2180人。国崎支队遭张自忠、庞炳勋痛击后，在马头镇又被关麟征部包围，伤亡惨重。板垣征四郎见国崎支队陷入困境，急调片桐支队等部前往增援，又遭中国部队沉重打击，仅日军第41、42两个联队即被歼1400多人。与此同时，日军北路军指挥官命吉住良辅率第9师团及井关机械化部队由蚌埠出发，沿涡河西上直犯蒙城，广西部队第31军131师副师长周元率领凌云上团去解蒙城之危。周元率部刚到蒙城，吉住良辅即率机械化部队赶到，马不停蹄对蒙城发动猛攻，又派飞机狂轰滥炸，霎时间轰倒蒙城城墙，日军步兵一涌而上。周元和全团官兵几乎全部阵亡，团长凌云上只带9人突出重围。
日军5月9日攻占蒙城，5月12日占领永城，主力北上直扑黄口车站。在津浦路北段，日军第2军司令官西尾寿造命第102、第107、第119师团合成一股，沿津浦铁路北攻宿县。防守宿县的中国第21集团军总司令廖磊抵挡不住，寄希望于第11集团军总司令李品仙率部增援，但李品仙部在合肥被日军牵制不能增援宿县，廖磊难以抵挡，自行撤出宿县，使徐州南面门户洞开。此时，鲁西北方面也频频告急，日军第111师团由济宁攻克郓城，进抵鲁西南重镇菏泽，