北府兵与荆扬内争桓温死后，东晋孝武帝司马曜年幼，世族大地主陈郡谢安当国，桓氏让出了扬州，由桓温弟桓豁、桓冲相继出任荆州都督，继续掌握上游大权。桓冲不像桓温那样野心大，不十分干涉下游的事权，因此，荆、扬之间的矛盾，又暂时缓和了下来。
桓温因为集中在今镇江、常州一带的当时北来侨民--南徐州、南兖州侨户，“人多劲悍”，在土断之后，就有把他们编成一支新军的计划，可是计划还没实施，桓温病死。谢安继温当国， 为了充实长江下游的军事力量以拱卫首都、抗衡上游起见，就筹募成立这支新军。公元377年，东晋政府任命谢安兄子谢玄为南兖州刺史，负责筹组新军。谢玄又把南兖州的军府，从京口移到广陵。南徐、南充两州侨户，纷纷应募人伍，彭城刘牢之“与东海何谦、琅邪诸葛侃、乐安高衡、东平刘轨、西河田洛及晋陵孙无终等，以骁猛应选”(《晋书·刘牢之传》。这一支新军，经过七年以上的长期训练，成为一支精悍能战的军队，号为北府兵(当时称京口为北府)2。北府兵的兴起，它不但成为长江下游的主要军事力量，改变了荆、扬的形势；而且在淝水会战中，在江、淮以南广大人民的支援下，粉碎了苻秦南侵的百万大军，把江南从苻秦的铁骑下抢救出来。
淝水战后，东晋的统治阶级满足于偏安的局面，没有恢复失地的要求和决心，以致不能扩大战果，乘胜逐北，收复中原。