瓦岗军步步紧逼，日日壮大，惊动了张须陀。于是张须陀亲自出马，誓要带兵扫平瓦岗。翟让一听说张须陀要来，当即吓得要撤兵，李密非常奇怪：“我们一路打下来，未曾遇到隋军强有力的抵抗，将军为何独独怕他一人？”翟让说：“您有所不知，我以前曾与张须陀交过几次手，未尝一胜。这张须陀在众多起义军中颇具震慑力，曾击败过许多实力非常强劲的反隋武装。我看我们不如先行撤退，避其锋芒。”李密略一思索，突然抬起头来，对翟让讲：“越是如此，我们才越有获胜的把握！张须陀兵势正盛，必然骄狂，请将军摆好阵势与张须陀正面开战，同时分千余名士兵交给我指挥。李某虽不才，但有信心能为将军一战破敌！”翟让被李密说得一头雾水，他看到李密的眼神如此笃定，也就不再多说什么，把兵马交给了他。张须陀见到翟让，二话不说，指挥军队发动进攻。翟让且战且走，退了四十余里，把张须陀带到了大海寺（位于今郑州市西）北边的密林中。突然，林中喊声四起，李密挥军杀出，截断张须陀后军。张须陀正在追击翟让，听说后军大乱，急忙回马相救，翟让见张须陀阵势已乱，情知李密已经得手，于是调头杀回，与此同时，王伯当与李勣也从林中率军杀出，与李密翟让从四个方向围攻张须陀。张须陀面对数倍于己的瓦岗军，勇猛异常，独自一人突围而出，回头一看，士兵们还被困在重围之中，于是又回头杀入重围。《隋书·张须陀传》记载：“来往数四，众皆败散。”张须陀见大势已去，长叹一声：“兵败如此，何面见天子乎？”他翻身下马，抽出兵器，与瓦岗军展开肉搏战，最终寡不敌众，死于乱军之中，时年五十二岁。张须陀是隋朝末期可与韩擒虎、贺若弼、史万岁齐名的勇将，他不仅骁勇善战，而且体恤士卒，慧眼识英，从功绩和道德上都可入名将之列，如今力战而死，大隋王朝又去一臂矣！瓦岗军阵斩张须陀，是一场意义非常重大的胜利。这场胜利不仅消灭了隋军的主要平叛力量，使得隋朝政府失去了张须陀这位得力干将，更重要的是，它摧毁了隋军多年来好不容易建立起的对起义军战斗的信心。隋军自辽东之役失败后，信心倍受打击，在平叛过程中屡屡受挫，逐渐形成恶性循环。张须陀的及时救火稍稍挽救了一点颓势，在他的带领下，隋军正慢慢走上正轨，但好景不长，这样的势头旋即又被瓦岗军的这场大胜给压了下去。一挫再挫的军队，很难再有东山再起的机会，屡败屡战，只是一个相对理想的状态。更何况，在府兵制这一大体制的框架下，这种理想状态的实现变得更加遥遥无期，府兵制的弊端再一次显现。
李密的努力为自己在瓦岗争取到了一席之地。翟让特别命令李密建立蒲山公营，这批人皆属于李密自己的亲兵，《旧唐书·李密传》记载：
密军阵整肃，凡号令兵士，虽盛夏皆若背负霜雪。躬服俭素，所得金宝皆颁赐麾下，由是人为之用。
李密在瓦岗寨的地位一天天升高，他与翟让矛盾的种子也被埋得更深了。就在瓦岗军对张须陀取得重大胜利的时候，其他各路反隋武装也频繁调动，四面出击，杜伏威击败右御卫大将军陈棱，占据历阳（今属安徽省马鞍山市），雄踞江淮一带，窦建德击败涿郡通守郭绚，收编被杨义臣击败的另一路起义军高士达的散兵，占据河北，势力逐渐发展起来，经过几个月的战争，中国大地上逐渐形成以李密、翟让为首的瓦岗军、以杜伏威为首的江淮军、以窦建德为首的河北军三大隋末起义军团体。此外还有许多势力较小的反隋武装，遍布全国。岑仲勉先生在《隋唐史》中对此做过表格统计，岑先生按照地域不同进行划分，分别为“京畿及关西”、“山东西及河南”、“东南及长江流域”、“岭南”四部分，共计一百二十八支反隋武装，规模非常浩大。从一个宏观的角度来看，瓦岗军占据河南、山东，杜伏威占据江淮、窦建德盘踞河北，三大团体连成一线，