进入九月下旬之后，天气更加寒冷，有些地方更是零零星星下了几场雪，封了路，这对于本就已经捉襟见肘的大隋后勤供应更是雪上加霜。
到了这个时候，该打的仗，该立的功早就结束了，而且天气寒冷，也没人愿意继续留在西海这个破地方。
黄明远决定，黄明远所统这一路，包括麾下西海军、张寿的临羌军和杨义臣的西平军。作为隋突大决战的主力，伤亡惨重，军队疲敝，黄明远只留下一万五千名骑兵，其余部队全部交给杨义臣，令其押着十余万吐谷浑部众返回西平郡。
北面的段文振率领的武威军，以及梁默指挥的张掖军，因后勤补给困难，全部返回武威等地待命。
而南线吐万绪率领的浇河军和卫玄率领的积石军，也被下令撤回浇河、临洮等地，只命吐万绪率领一万士兵继续在河源一带肃清当地的残敌。
相较于精锐的北方主力部队，浇河军和积石军只是两支偏师，作为牵制力量在南线出击。因为吐谷浑主力尽在北线，南线广大地区兵力空虚，防备疏漏，吐万绪乃一路连克树敦城、曼头城，缴获杂畜数万。
而此时的浇河军竟成了离着伏俟城最近的部队。吐万绪乃率部向北进击，横穿大非岭，逼近伏俟城。
而卫玄的积石军也攻破积石城，在七乌海大破吐谷浑部，俘获吐谷浑名王数人，杂畜五万。
总体来说，这一战皆进展顺利，大获全胜。
各部奉命返回之后，整个吐谷浑只剩下黄明远所部一万五千人了。
本来黄明远是想这一万五千人也不留，天寒地冻，非战斗减员极其严重。黄明远并不担心慕容伏允会卷土重来，反而觉得若是慕容伏允卷土重来，明年则趁机再次兴兵，必能彻底将吐谷浑的慕容伏允部队清楚干净。
不过杨义臣不同意黄明远的想法。
在杨义臣看来，虽然现在吐谷浑天寒地冻，大军再次进行远征是一种冒险。可此战也的确是摧毁吐谷浑的最好机会，谁知道明年大隋还有没有机会再次兴兵，因此杨义臣请命留守其地，再破胡虏。
黄明远思虑再三，最终同意了杨义臣的意见，不过他选择了自己留下。杨义臣虽然是员上将，黄明远却担心他不爱惜军力，因此为了这一万五千名将士的生命，黄明远也只好留下来受冻了。
九月二十六日，大隋各部接到命令，开始缓缓撤退。黄明远乃趋兵直至伏俟城。慕容伏允没有选择坚守老巢，而是继续向西逃窜，只留下其弟慕容融率领数千人留守伏俟城，阻挡隋军。
说是留守老巢，只是慕容伏允不愿意逃得太难看；而且部落里有一部分人实在不愿意离开，宁可与隋军决战也要坚守祖地，他只得将这些人留在伏俟城替他阻挡隋军前进的道路。
黄明远赶到伏俟城之后，立刻分兵五千，交给段文操去追击慕容伏允，自率领余部攻击此城。