前秦虽然还没正式下达战书，但东晋朝野上下都知道此战在所难免，只是时间问题。
为了应付不知道什么时候就会爆发的危机，东晋征西大将军桓豁推荐兖州督导官朱序担任梁州督导官，镇守襄阳。
桓豁在桓温的几弟弟里面，算是比较有才华的一个，可惜就在他部署边疆防务的时候，忽然一场怪病加身，没多久便死掉了。
他同时也是几个兄弟中拥有儿子最多的一个，五十多年间共生了20个儿子，因为听说前秦流传一首儿歌的歌词是“谁谓尔坚石打碎”，所以这20个儿子的名字中全都有个“石”字，桓石虔、桓石秀和桓石民是其中的佼佼者。
桓豁死后，朝廷不得不重新布置地方格局，于377年10月11日，下诏任命桓冲为江荆梁益宁交广七州军区司令长官，兼荆州督导官，任命他的儿子桓嗣接替桓冲的江州督导官，又任命政府国防部长王蕴为长江以南军区司令长官，兼徐州督导官，征西大将军府军政官谢玄升为兖州督导官，兼广陵郡长，长江以北军区司令。
桓冲担心受到前秦的威胁，打算把军事基地迁到长江以南，以长江作为缓冲，于是上疏请从江陵迁到上明，而让冠军将军刘波留守江陵，高级咨询官杨亮留守江夏。
这些任命，在明义上是司马昌明下诏，但实际上完全由谢安操纵，王蕴特意找上门，认为自己才疏学浅，无力承担重任，坚决辞让徐州督导官一职。谢安正指望他制衡桓王家族，于是苦口婆心地劝说：“你可是皇后的父亲，地位何其重要，不应该妄自菲薄，辜负难得的信任和机遇。”
王蕴一时不好推辞，只得接受，暂驻京口。
没过多久，孝武帝司马昌明再度下诏，征求文武双全的人才，协助防卫前秦。
这次不出意外，仍是谢安的意思，他想着重提拔自己家族的后辈，但若随意升职，唯恐招人非议，便想借着征贤的机会，化解世人的猜忌，然后第一时间保荐侄子谢玄接替王蕴的徐州督导官一职，而让王蕴调任中央。
谢玄虽然有谢安这座靠山，但他自己也颇有才干，所以当郗超听到这件事后，忍不住跟左右的人说道：“谢安不顾世人的眼光，而举荐自己的亲人，以他的为人，这本没什么稀奇，也不值得多加议论，但举荐的是谢玄，那就不同的，我曾和谢玄一起在桓公那里共事，亲眼看到他处理事务的能力，绝不会辜负圣上的信任。”
郗超没有看错，谢玄虽然出身清谈世家，但早年间追随桓温左右，受益不浅，而且青出于蓝，比桓温更有魄力，到任之后，公开召募当地的勇士，组成了一个突击部队，然后从中提拔了一个尤其威猛的汉子刘牢之担任军事参议官，并由刘牢之负责勇士们的日常训练，后来与前秦的多次战役中都传来捷报，时人誉之为北府兵团。
北府兵也即京口兵，当时徐州州政府设在京口，而谢玄作为徐兖二州督导官，招募的勇士也多出身京口，因而有这个称呼，从此成就了北府兵的传奇之旅。