李泌在衡山的隐士生活过不了多久，身为太上皇的唐明皇死了，肃宗跟着也死了，继位当皇帝的，便是李泌当年特别加以保存的皇太子广平王李豫，后来称号为唐代宗。代宗登上帝位，马上就召李泌回来，起先让他住在宫内蓬莱殿书阁，跟着就赐他府第，又强迫他不可素食，硬要他娶妻吃肉，这个时候，李泌却奉命照做了。但是宰相元载非常忌妒他的不合作，找机会硬是外放他去做地方官。代宗暗地对他说，先生将就一点，外出走走也好。没多久，元载犯罪伏诛，代宗立即召他还京，准备重用。但又为奸臣常衰所忌，怕他在皇帝身边对自己不利，又再三设法外放他出任澧郎峡团练使，后再迁任杭州刺史。他虽贬任地方行政长官，到处仍有很好的政绩，这便是李泌的“和其光，同其尘，湛兮似或存”的自处之道。

当时奉命在奉天，后来继位当皇帝，称号为唐德宗的皇太子李适，知道李泌外放，便要他到行在（行辕），授以左散骑常侍。对于军国大事，李泌仍然不远千里地向代宗提出建议，代宗也必定采用照办。到了德宗继位后的第三年，正式出任宰相，又封为邺侯。勤修内政，充裕军政费用。保全功臣李晟、马燧，以调和将相。外结回纥、大食，以困吐蕃而安定边陲。常有与德宗政见不同之处，反复申辩上奏达十五次之多。总之，他对内政的处理，外交的策略，军事的部署，财经的筹划，都做到了安和的绩效。

但德宗却对他说：我要和你约法在先，因你历年来所受的委屈太多了，不要一旦当权，就记恨报仇，如对你有恩的，我会代你还报。李泌说：“臣素奉道，不与人为仇。”害我的李辅国、元载他们，都自毙了。过去与我要好的，凡有才能的，也自然显达了。其余的，也都零落死亡了。我实在没什么恩怨可报的。但是如你方才所说，我可和你有所约言吗？德宗就说，有什么不可呢！于是李泌进言，希望德宗不要杀害功臣，“李晟、马燧有大功于国，闻有谗言之者。陛下万一害之，则宿卫之士，方镇之臣，无不愤怒反厌，恐中外之变复生也。陛下诚不以二臣功大而忌之，二臣不以位高而自疑，则天下永无事矣。”德宗听了认为很对，接受了李泌的建议。李晟、马燧在旁听了，当着皇帝感泣而谢。

不但如此，他做起事来，非常认真负责，曾经与皇帝力争相权。因为德宗对他说：“自今凡军旅粮储事，卿主之。吏礼委延赏（张延赏），刑法委浑（浑碱）。”李泌就说：“陛下不以臣不才，使待罪宰相。宰相之职，天下之事，成其平章，不可分也。若有所主，是乃有司，非宰相矣。”德宗听了，便笑着说，我刚才说错了话，你说的完全对。