在旧军队中,西北军以善于防守著称。李宗仁把坚守台儿庄正面核心阵地这个最艰巨的任务交给孙连仲指挥的第2集团军,是用人之长,用军之长。第一天战斗,李宗仁更加坚信战前用对了人,用对了兵。徐州会战,孙连仲指挥的部队在台儿庄战役中起到了重要作用。
3月26日凌晨2时,进攻台儿庄的日军向支队司令部报告,台儿庄连续两日战斗,死20人,伤120人,失踪5人。这组数字虽然不大,但挫伤了日军的进攻锐气。
3月27日,日军增加兵力以后,继续向台儿庄进攻。这时候,日军的进攻队伍中已经有独立机枪第10大队、轻装甲车第10中队等火力和突击力比较强的兵种。战斗打响后,日军主力都被吸引到台儿庄附近。激战中,日军部分主力突入台儿庄的北门。第31师官兵奋力反击,阵地上你来我往,中国守军与日军展开了拉锯战。看到隆隆开过来的日军坦克,中国守军把十多枚手榴弹捆成一束,把日军的坦克炸毁。肉搏战时,中国军队官兵手中的大刀发挥了强大的威力,日本鬼子被砍得血肉横飞。