及，全军大乱，杜伏威本人在李子通的追杀下身负重伤，关键时刻，杜伏威的养子（杜伏威在军中挑选壮士收为养子，共有三十余人）兼大将王雄诞背负他藏匿到芦苇丛中，侥幸躲过了追杀。这次兵变，杜伏威的势力受到很大打击，从此与李子通结仇。
祸不单行，趁杜伏威兵败，隋将来整也率部前来进攻。杜伏威此时正在养伤，无法指挥，军队刚刚才经历了一场火拼，已是一支疲军，自然抵挡不住来整的进攻。杜伏威全军崩溃，其部将西门君仪的妻子勇而多力，背了杜伏威夺路而逃，王雄诞领着敢死队拼命断后，杜伏威这才逃得一命。
连续两次死里逃生，杜伏威部伤亡很大，失去了称霸的实力，只好四处游击，不断吸收流民加入以扩充势力。经过半年的恢复，杜伏威又有了数万人的实力，并控制了江都附近的六合县作为根据地。与此同时，左才相往来淮北，李子通占据海陵，都有数万兵力，江淮一带即以这三家起义军为首。
大业十二年，七月。杜伏威于盐城全歼隋军虎牙郎将公孙上哲，并数次与陈棱交战，虽屡屡失利，但陈陵兵力不多，想剿灭杜伏威也不容易，双方打成僵持。
同年十二月，隋炀帝车驾到达江都，护驾骁果十余万人，声威赫赫。按理隋军应该军心大振，杜伏威难逃灭亡，不料隋炀帝的到达，反倒给了杜伏威崛起的机会。
此时，正逢荒年，百姓本来就已无以为生，还要负担十几万大军的给养，终是造成了一场大饥谨。据记载，老百姓先是吃树皮树叶，后煮土为食，“诸物皆尽，乃自相食”。大量百姓揭竿而起，杜伏威乘机吸收了大批手下，势力迅速膨胀。
杜伏威于军中挑选最精锐的军士组成自己的卫队，称为“上募”，兵力为五千人。杜伏威把上募兵作为自己的子弟兵，平时非常宠爱，但要求也非常严酷，每作战必以上募为先锋，战后检查每人身上的伤痕，如伤在背后，即刻处斩，因为那表示其临阵退后。每次战胜，杜伏威都把抢掠到的资财赏给全军，如果手下战死，就以死者的财产甚至妻妾殉葬，因此杜所部皆为杜伏威尽死力，人自为战，所向无敌。
这时杜伏威与陈陵强弱之势已经倒转，于是主动向陈挑战。陈陵也知道时局不利，战无胜算，因此龟缩不出，任由杜伏威自己去耀武扬威。杜伏威于是派使者给陈送了一套妇女衣裳，并送了陈陵个外号叫陈姥。
陈陵大怒，率全军出战。这一仗打得十分激烈，杜伏威亲自上阵，不小心被一员隋将暗箭射中，杜伏威怒吼道：“不杀
…。。