北方突现如此剧烈的变故，东晋政府岂有不动心的道理，早在384年5月，就已经着手恢复领土。
但都是局部的小打小闹，并没有长期和大方向的规划。
考虑到政府首脑谢安是个无所事事的清谈家，这种事倒也并不稀奇。
虽是小打小闹，因为前秦江河日下，所以倒也取得了不少成绩。
竟陵郡长赵统，率先出动，进攻襄阳，前秦荆州督导官都贵，直接放弃城池，逃回鲁阳。
接着前秦洛州督导官张五虎，也放弃抵抗，不等晋军讨伐，就主动献出了州政府所在地丰阳，宣布归降。
没多久，长江上游的官兵也开始行动了，东晋梁州督导官杨亮，率大军五万人，进攻前秦所属的巴蜀，并让巴西郡长费统，率水陆联军三万人担当先锋，杨亮则率军进驻巴郡，作为后继。
前秦益州督导官王广，派巴西郡长康回等人抵挡晋军攻势，但秦军已无斗志，康回屡战屡败，退回CD梓潼郡长垒袭更是直接献城投降。
东晋荆州督导官桓石民也不甘示弱，领军攻打鲁阳，很快便攻克，然后派河南郡长高茂北上进驻洛阳。
进展固然算不上神速，前景总是好的，就算这么一点点地收复故土，只要能坚持下去并保持势头，喊了多年光复中原的终极目标还是有望实现的。
天有不测风云，就在各地将领大显身手之际，61岁的崇德太后褚蒜子不幸病逝，也因此国丧而耽搁了两个月的北伐进程。
一晃到了8月底，在谢玄的百般催促下，谢安终于向司马昌明上疏请求乘着前秦瓦解的机会，收复中原。
难得谢老爷子亲口说出这种话，司马昌明当然不会驳他的意，当即批准北伐，并让徐兖二州督导官谢玄为前锋司令官，率豫州督导官桓石虔一起讨伐前秦。
谢玄早已准备充分，收到任命后就立刻进抵下邳，前秦徐州督导官赵迁，放弃州政府所在地彭城，落荒而逃，谢玄大军于是顺利进驻彭城，并擢升爱将刘牢之为彭城郡长。
前秦此时已无威胁，晋军一路如入无人之境，不过一个月的时间，黄河以南的各城池纷纷归附。
眼见北伐顺风顺水，谢安也有些跃跃欲试了，当年桓温都没能完成的事业，搞不好自己竟能实现了，这是何等荣耀，越想越激动，上疏请求亲自统军北上。