此时第五战区在李宗仁将军的指挥下，也是积极调整部署，调集主力部队，准备在台儿庄一线，与日军进行决战，争取一举歼灭日军第十师团主力。
为了达到诱敌深入的目的，李长官决定让开津浦铁路正面，引诱第十师团孤军深入，于是下令临城的中队，全部撤退。其中川军撤往徐州附近一带待命，汤恩伯之第20军团撤往兰陵及其西北云谷山区，诱敌深入，待机破敌。
急于立功的濑谷启率部离开了藤县之后，一路南下直扑临城，由于中队主力已经撤退，临城守军只是象征性的抵抗了一下，也随即撤退。因此日军轻而易举的攻占了临城。
轻松拿下临城之后，濑谷启终于找回了一些自信，自大的以为中队已经失去了抵抗的意志，于是继续率部一路南犯，企图直犯徐州。结果在运河沿线遭到了中队第52军第二师的顽强抵抗。
而与此同时，矶谷廉介率领的另外一股日军，沿临赵（墩）铁路于20日攻占枣庄，21日攻占峄县城，矛头直指台儿庄。于是矶谷廉介改变策略，准备集中兵力进攻台儿庄，拿下台儿庄之后，在继续进攻徐州。
与此同时，徐州城内，第五战区司令长官部内，李宗仁长官召开紧急军事会议。会上李宗仁将军一脸严肃的说道：“台儿庄之得失，关系到整个徐州的安危，目前日军第十师团经过藤县保卫战之后，损失惨重。仅剩下大约两个步兵联队，加上炮兵联队，骑兵联队等部约一万余人，不过日军之第40联队以及一批补充部队已经从济宁南下，紧急支援台儿庄一线，如果这股日军赶到，台儿庄一线的日军总兵力将超过一万五千人，甚至更多。然而我们已经退无可退，为了保卫徐州，我们必须死守台儿庄，消耗日军之锐气，创造歼敌之良机，争取一举全歼日军第十师团。”
与会诸将，全都正襟危坐，认真的听取着李长官的讲话。
李长官停顿了一下，转身看向了旁边坐着的第二集团军总司令孙连仲将军，亲切的说道：“仿鲁兄，你们第二集团军负责坚守台儿庄，台儿庄的得失至关重要，自从抗战爆发以来，我军连战连败，丧师失地，北平，天津，上海，南京相继失守，如此情形之下，徐州不容有失，因此必须死守台儿庄保卫徐州之安全，不知仿鲁兄可有把握守住台儿庄。”
孙连仲将军闻言直接站了起来，一把掏出了配枪，直接拍在了桌子上面，大义凛然的说道：“俺是个粗人，性子直，不会溜须拍马，更不是那些只会花言巧语的绣花枕头。既然李长官命令我部死守台儿庄，我孙连仲甘愿在此立下军令状，我第二集团军所有将士甘愿与台儿庄共存亡，哪怕战斗到一兵一卒，绝不后退半步，只要我孙连仲还有一口气在，小鬼子休想踏过台儿庄半步。如果丢失了台儿庄，李长官可以拿着这把枪毙了我孙连仲，俺半句怨言。”
“好！”李宗仁将军闻言连忙站了起来，一脸激动的说道：“有仿鲁兄这句话我就放心了，如果我军将领都能像仿鲁兄这般，又何愁不能早日驱逐日寇，还我河山。”
孙连仲将军连忙说道：“李长官谬赞了，卑职只是在尽一个军人的职责而矣。”
李宗仁将军连忙拿起了孙连仲将军的配枪，亲自给孙连仲将军放回了枪套之中，微笑着说道：“仿鲁兄乃是一代名将，尤其擅长守城，有仿鲁兄亲自坐镇台儿庄，定然能够确保万无一失。仿鲁兄快快请坐。”说着李宗仁将军亲自扶着孙连仲将军坐了下来。