淝水之战后，立下首功的谢安声望如日中天，孝武帝封他为太保。谢安并没有因为自己做了大官就骄傲起来，依然像以前那样专心处理朝政，同时他还注意各方面的关系。桓冲曾经在淝水之战时请求让自己妻子的叔叔做江州刺史，而谢安打算用谢輶，引起了桓冲的不满。淝水之战胜利，桓冲羞愤而亡，战略重地荆州和江州缺少守将，谢玄因为在淝水之战中立了大功，朝野上下都认为这个位置非他莫属。谢安却有着更深一层的考虑：桓冲虽然死了，但是桓石民和桓石虔还各有重兵，西中郎将桓伊还在淝水之战中立了大功，自己任用谢玄固然是众望所归，但却未免让桓氏家族议论。于是，谢安任用桓石民守荆州，桓伊守中流，桓石虔守豫州，平息了桓氏的不满。
谢安击败前秦，分析形势认为北方分崩离析，正是光复神州的大好机会，于是上表请求北伐中原。借着淝水之战的声威，晋军一鼓作气收复了梁州、益州、襄阳。东晋朝廷也认为形势大好，就命谢安都督江、荆、司、豫、徐、兖、青、冀、并、幽、宁、益、雍、梁十五个州的军事，总管北伐。谢玄在谢安的支持下，连克彭城、琅琊、又攻克了冀州、滑台、黎阳等地，整个战局向着有利于东晋的方向发展，然而，就在这个时候，东晋朝廷内部发生了动乱。
自古云：功高震主。谢安声望日隆，引起了当朝孝武帝的猜忌。早在淝水之战前几个月，正当秦晋双方剑拔弩张、朝廷上下齐心抗秦的时候，孝武帝突然任命才20岁的无能之辈司马道子为尚书事，谢安也是录尚书事，任命这么一个家伙分明就是要分谢安的权。谢安考虑当时的局势，没有反对。那么司马道子这个家伙是什么人呢？司马道子是孝武帝的亲弟弟，这个人虽然出身宫廷，却是目光短浅，毫无本领，在整个淝水之战中一点战功都没有，就是一个绣花枕头。但是，司马道子仗着是皇帝的弟弟，在淝水之战后处处排挤谢安。两个人之间的矛盾不可避免的公开化、尖锐化了。谢安北伐胜利在望，司马道子这个小人怕谢安北伐成功，就在孝武帝面前说谢安的坏话。孝武帝也是一个昏庸无能之辈，只想着自己偏安一隅，听了弟弟的话，连忙把谢安叫回来，又以打过败仗为理由把谢玄手下的第一大将刘牢之召回，陆续撤出了黄河以北的军队，洛阳等地又相继沦陷。谢安有心报国，无力回天，也只好徒唤奈何。
谢氏家族名望上升，原本显赫的王氏家族心存不甘，前文说的王坦之是一个坦坦荡荡的君子，谢安看中他的人品，把女儿许配给了他的儿子王国宝。这个王国宝却是个阴险的小人，谢安看清了他的面目后，只给了他一个小官，王国宝心怀不满。王国宝的妹妹是司马道子的妃子，借着这层关系，王国宝经常在司马道子面前说谢安的坏话。司马道子又把这些话转告给了孝武帝，再加上朝廷上有一些人也在孝武帝耳边说谢安的不是，孝武帝信以为真，对谢安越来越疏远。
谢安为国家立有大功，司马道子和王国宝如此诋毁他，连孝武帝也猜忌谢安，引起了许多正直大臣的不满，很多人为谢安鸣不平，桓温的侄子桓伊就是其中的一个。桓伊善于吹笛，为江左第一，同时也是将才，在淝水之战中立了大功。孝武帝听说桓伊笛子吹的好，就召他来演奏，当时谢安也在座。桓伊吹完一曲后，放下笛子，又请求弹筝，孝武帝答应了。桓伊唱道：“为君既不易，为臣良独难。忠信事不显，乃有见疑患。周旦佐文武，金滕功不刊。推心辅王政，二叔反流言。”歌词的大意是说：当君主不容易，做臣子更难，忠信的事情没有人知道，反而遭到了皇帝的猜疑。当年周公辅佐幼主周成王，管叔和蔡叔反而散布流言诋毁他，后来周成王才知道周公的忠诚。这里桓伊把谢安比作辅佐周成王的周公，而把司马道子等小人斥为和管叔和蔡叔一样的败国之臣，也有讽刺孝武帝的意思。谢安听完，感慨万千，他离开座位，摸着桓伊的胡子说：“使君竟有这样的言语啊!”孝武帝羞愧不已。
羞愧归羞愧，孝武帝这个昏君转眼就把桓伊说的话忘了，在司马道子和王国宝的双重排挤下，谢安不想在朝中呆下去了，他决心交出大权，离开京城。正赶上前秦国内内乱，苻坚来求救，谢安自请领兵去镇守新城，筹划如何救苻坚，孝武帝巴不得谢安快走，立刻批准。谢安离开时，孝武帝为了表示尊重，特意出城为谢安送行，但是两个人的心里都明白，双方的矛盾已经不可调和了。
镇守新城只是谢安的借口，他只想远离京城的是非之地。到了新城不久，谢安染病在床，回建康疗养，于太元十年病逝。谢安死后，东晋朝廷按照安葬大司马桓温的样子安葬了他，后来为了追念谢安在淝水之战中的功劳，追封他为庐陵郡公。