中桓温在这时想乘机北伐，儿几次上表朝廷讨论进兵事宜，朝廷恐桓温北伐成功，更无法控制，故意把桓温的建议搁置不复。公元349年，石虎初死，虎徐州刺史王浃以寿春(今安徽寿县)降晋。东晋政府就派徐兖二州刺史、外戚褚裒任征讨大都督，率众三万北伐，进至彭城(今江苏徐州市)，“河朔士庶，归附者日以千计”，“鲁郡民五百余家，相与起兵附晋，求援于褚裒”(《晋书·外戚·褚裒传》),真是“晋之遗黎，鹄立南望”，殷切期待晋兵的渡河。可是褚裒懦怯，非将帅之才，一战而败，便退屯广陵。当时河北有遗民二十万人，渡河欲来归附，因晋兵已经撤退，他们遭到少数民族统治者的杀掠，死亡殆尽。准水、汉水以北，黄河以南，一度在名义上尽成晋土12。可是东晋的北伐之师，却并未再出。公元351年，桓温不等朝廷命令，声称北讨，率领大军顺流而下，到达武昌，宰辅会稽王司马昱苦苦劝阻，温只得作罢。东晋政府又把北伐的任务交给扬州刺史殷浩。浩于是统兵北上。殷浩是个书生，只能清谈玄学，并无实战经验。公元353年，殷浩自寿春率众七万北伐，以羌族酋长姚襄(姚苌兄)为前锋，行至山桑(今安徽蒙城北)，襄中途倒戈，袭击浩军，浩丢弃辎重，狼狈逃走，士卒死伤万余人。东晋的世家大族本来就不主张北伐，至此北伐遇到挫折，世族大地主琅邪王羲之(王导从子)便主张不但应该放弃河南，就是“保淮之志，也非复所及，莫过还保长江”03。东晋政府在这样不利的形势下，只得把司州拨归桓温来节制，也就是说把收复河南的任务交给桓温来负责。温上表弹劾殷浩，殷浩被罢免，这时谁也不能阻止桓温的北伐了。
公元354年，温率步骑四万，自江陵取道襄阳，出浙川(今河南淅川均水)，进攻关中，于峣柳(今陕西蓝田)连败秦主苻健的军队，兵锋直达长安东面的霸上。居民“持牛酒迎温于路者十八九，耆老感泣日:‘不图今日复见官军。'"(<《晋书·桓温传》)在关中人民的积极支持下，晋军才能取得胜利，迫使苻健退保长安，深沟自固，不敢交战。桓温来时，由于运输上困难，没有能够多带粮食，当时估计春麦已熟，可割取以为军粮，不料苻健先期“芟苗清野”，因此晋军在给养上遭遇到严重困难，是年九月，温只得退兵。
公元356年，逗留在河南许昌一带的羌族酋长姚襄，进攻洛阳，桓温自江陵北伐，把姚襄击溃，襄西走关中，为秦主苻生所杀。桓温在收复洛阳以后，建议政府还都洛阳，并主张把永嘉以来播流江南的北人，全部北徙河南1。那时南渡的北方世家大族，他们已在江东置立庄园，自然不愿北迁，对桓温的建议，纷纷提出异议，复都洛阳之议，就此作罢。公元358年，豫州刺史出缺，朝廷初拟任命桓温弟桓云为豫州刺史，尚书仆射琅邪王彪之认为“温居上流，已割天下之半，其弟复处西藩(东晋豫州刺史镇姑熟，都城建康在今南京，故称豫州为西藩)，非深根固蒂之宜”"(《晋书·王廙传弟子彪之附传》),于是朝廷任命吴兴太守陈郡谢万(谢安弟)为豫州刺史。公元359年，万受命与徐、兖二州刺史郗昙北征，县因病退屯彭城，万误认为是前燕大军压境，仓皇下令兵，军遂溃散，万单骑逃归，于是许昌、颍川、谯、沛诸城，相次为前燕慕容氏所攻没；公元365年，洛阳又告失守。