月，朱棣闻听李景隆围困北平，遂回师救援，途中在会州(今河北承德平泉西南)整编军队。他将燕军分编为中前后左右五军，以张玉统领中军，由此可见张玉在燕军中的重要地位。十一月，燕军在北平郑村坝（今北京朝阳区）之战中击败李景隆，趁胜抵达北平城下。北平守军也鼓噪杀出，内外夹攻，大破南军，朱棣打败李景麦回到北平过年。永平之战和郑村之战成为靖难之战的第二场决定性胜利。

    建文二年(1400年)，张玉随朱棣攻破广昌、蔚州、大同。四月二十四，李景隆收集败军，准备再攻北平。张玉认为兵贵神速，率部驰奔白沟河(今河北保定雄县境内)，以逸待劳，而后率精骑出击，再次大败李景隆，瞿能战死。白沟河之战是靖难之战的第三场决定性胜利。

    五月，张玉夺取德州，追击南军至济南。但围城三个月，盛庸、铁铉殊死抵抗，燕军始终不能破城，最终只得撤军。九月，朱允炆撤掉李景禄上大将军盛庸。盛庸可是个厉害角色，给燕军带来了前所未有的困难。

    十月，朱棣从北平出发，沿京杭大运河行军，张玉攻破沧州，擒获守将徐凯。十二月二十二，从济宁撤回的燕军进攻东昌(今山东聊城)，与历城侯盛庸相遇。当时，盛庸背城列阵，用火器劲弩攻打燕军。朱棣率军冲击南军左翼，后又冲其中坚，结果被盛庸重重包围。张玉、朱能都率部相救。朱棣与朱能会合，朱能与周长等人殊死战斗，保护着朱棣突围而出。张玉不知朱棣已被救出，仍在阵中冲杀，格杀数十人，最终伤重力竭而死，时年五十八岁。驻守在定州的副将军平安打败偷袭滑口的燕将朱荣后，前来东昌与盛庸会合，盛庸、平安的军队将燕军层层包围。张玉战死以后，燕军士气焕散，没有朱棣、张玉、朱能的及时指挥，燕军大败，损兵折将，丢盔弃甲，死亡了数万人。第二天，盛庸和平安带兵出城进攻，又歼灭燕军几千人，这就是着名的东昌之战。

    东昌之战以后，朱棣带军败走馆陶（今河北邯郸），盛庸军队的士气大振，发檄文号召各路驻扎军联合起来攻击燕军，希望通过截断燕军归路，使燕王朱棣没法回北平过年。

    为了回北平过年，朱棣整顿军队，鼓舞士气，腊月二八日，燕军在威县（河北刑台）打败吴杰、平安。过了四天，建文三年正月初二，吴杰、平安在深州（河北衡水）邀击燕军，没有取得胜利，燕军仓皇北逃，终于赶在元宵节以前回到了北平。

    正月十四，从前线传来盛庸东昌大捷的消息，朱允炆非常高兴，将齐泰、黄子澄官复原职。白沟河惨败以后，李景隆又在德州，济南三连败，由于李景隆是黄子澄举荐的，受李景隆的牵连，三个月前，朱允炆在将李景隆撤职以后，不得不忍痛将齐泰、黄子澄免官。其实朱允炆和这两个人相谈甚欢，根本就不想罢他们的官，背地里还把他们留在身边担任顾问。如今东昌传来大捷，朱允炆感到荡平北平的目标指日可待，得意忘形之下就重新启用了齐泰、黄子澄，完全没有想到这两个奸臣就是朱棣发动靖难之役的主要借口。不过东昌一战，燕王朱棣险些送死，大将张玉战死沙场，南军大获全胜，斩杀燕军数万人，朱允炆终于可以一血前辱，扬眉吐气一番，所以建文三年这个春节他过得特别惬意。