郭绚相信了窦建德,率兵跟随窦建德到长河县,也不再防备他。窦建德突然袭击郭绚,杀获几千人,斩郭绚的首级献给高士达。张金称的余部也都归附了窦建德。杨义臣乘胜进军到平原,打算进入高鸡泊讨伐窦建德。窦建德对高士达说：“我观察了不少隋将,善于用兵的莫过于杨义臣了,如今他灭掉了张金称乘胜而来,锐不可挡,请您率兵避开他,让他欲战不得,耗费时间,将士疲劳厌倦,然后我们再乘机袭击他,杨义臣才能被攻破,否则,恐怕您不是他的对手。”高士达不听,他留下窦建德守营,自己率领精兵迎击杨义臣,取得小胜后,就纵酒畅饮。

窦建德听到后说：“东海公未能将敌打败就骄傲自大,灾祸不久就要到了。”五天后,杨义臣大破高士达,在阵前将高士达杀死,乘胜追击,直逼他的营地。营中的守军都溃散奔逃,窦建德仅和百余骑兵逃走,到了饶阳县,乘饶阳县没有防备,攻陷饶阳,收集兵卒三千人。杨义臣杀死了高士达,认为窦建德已不足为患,就率兵离去。窦建德返回平原,收集高士达所部的散兵,收集安葬死者,为高士达发丧,军威又重新大振。窦建德自称将军。原先,群盗抓住隋官及士族子弟都杀掉,唯独窦建德很好地对待他们,因此隋官中有些人就举城投降他,窦建德声势日渐浩大,拥有精兵十余万。

内史侍郎虞世基因为炀帝厌恶听到贼盗的情况,所以诸将及各地郡县告败求救的表奏,虞世基都把它们加以删改处理,不据实上报,只说：“鼠窃狗盗之徒,郡县官吏搜捕追逐,快要被彻底消灭了。希望陛下不要放在心上”炀帝很以为然,有时还用杖责打据实报告的使者,以为说的都是谎话。因此盗贼遍布海内,攻陷郡县,炀帝都不知道。

杨义臣击败并收降河北的贼人几十万,他把情况写表上奏炀帝,炀帝看后感叹道：“我原来没听说盗贼到如此地步,杨义臣降服的贼怎么这样多？”虞世基回答：“小贼虽然多,但不足为虑,杨义臣击败小贼,却拥兵不少,将帅久在朝廷之外,这样是最不适宜的。”炀帝说：“你说的是。”于是派人追回杨义臣,遣散他的士兵,盗贼因此又重新强盛起来。

炀帝到了江都,凡江、淮各郡官员谒见的,炀帝专问进献礼品的多少幅。礼多则越级升迁郡丞、县守,礼少的则恣肆地黜免官职。江都郡丞王世充进献铜镜屏风,升为通守;历阳郡丞赵元楷进献珍奇美味,升为江都郡丞。因此郡县官吏竞相对百姓肆意盘剥,以充实进献之物。百姓外受盗贼的抢掠,内受郡县官吏课贼的逼迫,生计无着,加上饥馑无食,百姓开始采剥树皮、树叶充饥,有的人将稻草杆捣成碎末为食,有的煮土吃,各种能吃的东西都吃光了,就互相吃人。而官府仓库中的粮食还是充裕如初,官吏们畏惧刑法,不敢取粮救济饥民。王世充还秘密为炀帝挑选江淮民间的美女来进献,因此更加得到炀帝的宠信。

河间郡贼帅格谦拥有部众十余万人,占据豆子殷,自称燕王。炀帝命王世充率兵讨伐格谦并将他杀死。格谦的部将勃海人高开道收集余部,侵掠燕地