杨善会怒而起身，在帐中来回踱步，让人召集了帐中诸将，商讨对策，都觉得此次攻打魏县，一时半会无法攻克，都主张撤军回防。
一番商讨之后，杨善会下令撤军。
军令一经传达，攻城的大军立刻后撤三里，整顿军备，设下断后，有条不紊地撤离。
……
城中宇文化及的守军在城楼上望见杨善会部撤离，急忙禀报裴虔通，裴虔通上楼探明虚实，确定杨善会正在撤军，他也算是身经百战的人物，没有丝毫犹豫，当即下令，两万兵马出城追击。
两军边战边往清河城的方向移动，两日之后，接近清河城一百里处时，杨善会军死伤惨重。
杨善会见这样边逃边打不是办法，这样下去，还没等大军进入清河城，就已经被追兵追杀的四分五裂，溃散逃窜，正准备原地驻扎，前方哨探却传来消息，有一支五千人的骑兵在前方十里之处阻截。
可以预见的是，两方夹击之下，己方的军队无险可守，无路可逃，最终将落得兵败身亡的下场。
身处必死之地，杨善会反而冷静了下来，部署各军各营，拼死顽抗。
杨善会军顽抗了十日之久，首尾受敌，裴虔通得知夏王窦建德正全力攻打清河城，眼前有杨善会负隅顽抗，越发心急，进攻的频率越发频繁。
……
到了第十五日，杨善会发现，从西面来的进攻骤减，派探子一查探，竟发现裴虔通军在偷偷地往回撤。
“怎么回事？裴虔通应该知道清河城正在受窦建德的偷袭，我回城不得，军中粮草也耗尽，正是进攻的好时机，怎么会突然撤退？”
“是了，一定是荥阳的大军已经到了，正在攻打魏县……”
杨善会猜到其中缘由，却一脸苦笑，“就算如此，又还有什么意义，本来计划将宇文化及军引到黎阳方向，待魏县城空，我再率军速战速决，三天之内攻下魏县，驰援平恩城，如今却失之毫厘谬以千里，只怕清河城危险了……甄将军，只盼你能尽早得知，及时应变。”
裴虔通一撤退，杨善会便集中起兵力，反守为攻，将窦建德派来堵截的骑兵打了个措手不及，挫败而退。
杨善会这才得以带着一万多疲弱不堪的清河军进入了清河城中，奈何此时的清河城因为防备空虚，又有张金称潜伏在城中的流寇四处放火作乱，清河东城楼已经被窦建德大军攻破。