结仇太守
元嘉五年(428年)，谢灵运称病回到家乡后，游玩喝酒集会赋诗照旧，日以继夜。因此而被御史中丞傅隆所弹劾，被免除了所有官职。回到家乡后，谢灵运和同族兄弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊璿之，因为相互欣赏对方的文章而结好。他们同游山水，当地的人称他们为“四友“。
谢灵运依靠着祖辈、父辈丰富的家底和深厚的人脉，生活富足，奴仆众多，有上百名先人的门生故吏和他往来。他喜好游山陟岭、纵情山水，没少做开山造湖的事情。但凡游山，必定要探寻最为险峻幽深的地方，即便山峦叠嶂、沟壑纵横，也必会游遍每一个他想去的地方，不畏险阻。为了便于走山路，他每次登山都穿上一种前后齿可装卸的木屐，上山时便去掉前面的鞋齿，下山时则去掉后面的鞋齿。这种鞋被后世称为“灵运屐“。
谢灵运大兴劳役，曾经从始宁南山到临海一路伐木开道。时任临海太守王琇闻之，以为是山贼前来偷袭，甚为惊恐，后来得知来的是谢灵运不是山贼才安心。谢灵运邀请王琇随他一同继续游玩，王琇不肯。谢灵运在会稽也有很多人跟从，他总是惊动郡县长官。会稽太守孟顗信仰佛教，诚恳认真，谢灵运很瞧不起他，且对他说:“成仙得道应该是有灵气的文人，你升天一定在我谢灵运之前，成佛一定在我谢灵运之后。“孟顗非常厌恶谢灵运所言。
回踵湖在会稽城东，谢灵运上疏请求将其改做稻田之用，得到批准，下令地方各州郡执行。但孟顗认为，回踵湖距城郭很近，一方水土养一方百姓，改做稻田没能物尽其用，十分可惜，因而坚决不执行朝廷的命令。谢灵运眼看着事情没有向着自己预料的方向发展，转而又要求将始宁县的岯崲湖改做稻田，再次遭到孟顗的抵制。谢灵运认为孟顗的考虑并非以利民为首要，而是只考虑掘开湖泊会杀生，言语间中伤了孟顗，孟顗和谢灵运结下仇恨。
孟顗利用谢灵运性格放荡不羁、对百姓多有侵扰的事，上了一道奏疏说谢灵运想谋反并私自调用本郡军队防守自卫。谢灵运听说此事，飞骑进京上书:“我归家养病至今已三年，平日远离城郭居住，鲜与世人打交道，多呆在偏僻的穷山岩洞之间，几乎中断了和外界的联系。我只想修身养性，平静过完余生。然而，上月二十八日我突然得知会稽太守孟顗上疏弹劾我谋反的不实之语，深感惊异，不知他为何要这样讲，便急忙回到京城面见皇上您并解释清楚。在来的路上，当我经过山阴城时，孟顗全城设防，兵马严阵以待，大街小巷密探遍布。微臣真的不知犯有何罪，竟会被如此防范，现在的我无时无刻不处于恐惧之中。臣下当年曾有幸做过皇上的侍臣，蒙受天恩，如果有确凿证据证明我背叛圣上、大逆不道，我心甘情愿意被判处死刑，以正国法。使普天之下，也不能有我立脚的地方。现在只以谣言作为我的罪证，这是多么残酷啊!自古以来，圣贤们也免不了被诽谤，但是招致诽谤，还是有原因的。或者不怕死亡重视义气，或者结党聚众，或者称雄乡里，或者当剑客侠士，纵横无忌。还从未听说循规蹈矩的人，想去造反谋逆的，隐居的人，打算谋害皇上的。现有人捕风捉影，凭空造谣，从古以来的陷害，没有比这更残酷的。我并不是爱惜自己的生命，只是受不了其中的冤枉。我扪心自问并无什么对不起皇上的事，但是抱着一肚子的冤屈无处申诉。所以带病投奔皇上，请您裁判。我希望皇上鉴定是非曲直，那么即使我死了，也如同活着一样。我现在整天担心害怕，以致老病发作，神情恍恍惚惚，不知怎样陈说。“
充军被杀
皇帝知道谢灵运是被冤枉的，所以没有判他有罪，只是不想让他回会稽，于是让他做了临川内史，且增加俸禄到两千石。谢灵运赴任后仍然如故，和在永嘉太守任上时没有两样，所以再次被有关人员弹劾。司徒派临川王的从事郑望生逮捕谢灵运，谢灵运反而抓住郑望生，起兵叛逃，从而有了叛逆的念头。他写诗说:“韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子。“最后他仍被追上并被逮捕，被送到廷尉那里定罪。廷尉上奏说谢灵运率领部众造反，应处以死刑，皇帝仍然爱惜他的才华，只想免去他的官职而已。彭城王刘义康坚持说不应该饶恕他，于是皇帝下了一道诏书说:“谢灵运罪过深重，确实应该判处死刑。但念他祖父谢玄有功于国家，应该原谅他的子孙，免死充军广州。“
元嘉十年(433年)，秦郡府将宗齐受走到涂口，途径桃墟村，看见有六七个人在下面路上胡乱说话，怀疑不是好人。回来告诉郡县长官，长官派兵随同宗齐受前去抓捕，经过搏斗，把他们全部捉住，投入了监狱。其中有一人叫赵钦，山阴县人，说:“本村人薛道双以前和谢灵运共过事，在去年九月初，薛道双通过本村人成国告诉我说:'先前做临川内史，现在犯法冲军广州的谢某，给我们钱财，叫我们买弓箭刀枪盾牌等武器，让薛道双结交乡里的健儿勇士，在三江口劫救谢某，如果成功的话，大家功劳都一样。'于是集合众人篡取谢某，但没成功。大家回来时很饿，只好沿路打劫。“有关部门以此又上奏按法逮捕谢灵运，皇帝下诏书，命令在广州将谢灵运就地正法，终年四十九岁。谢灵运临死时写诗说:“龚胜无余生，李业有终尽。稽公理既迫，霍生命亦殒。凄凄凌霜叶，惘惘冲风菌。邂逅竟几何，修短非所悯。送心自觉前，斯痛久已忍。恨我君子志，不获岩上泯。“他诗中称述的龚胜、李业，好比前诗中说的子房、鲁连。
文学成就
在山水诗产生与发展的过程中，杨方、李颙、庾阐、殷仲文和谢混等人，都曾有过一定的贡献。但谢灵运却是第一位全力创作山水诗的诗人，其现存诗近百首，其中38首可称得上是较为完整的山水诗。山水诗在晋宋勃然而兴，其功首推谢灵运。
特点
谢灵运山水诗的成就，很大一部分有赖“雕琢“之功。谢灵运山水诗的“雕琢“是对自然的一种细致的拟态，谢灵运又在拟态的过程中，加入自身的主观色彩，使山水景物呈现出源自现实的真实而又不同于现实真实的独特面貌。谢灵运山水诗中“雕琢“的功力，既体现在对细微景物的细致描摹上，又表现为对多种意向的结构组织中，而两者往往结合在一起，合力展现出山水的姿态各异而又变化万端。同时，谢灵运山水诗又呈现出了“自然“的一面。谢诗中体现的“自然“，有双重的含义。一方面，谢灵运山水诗真实地呈现了自然的风貌，这和诗人的“雕琢“之功密不可分。另一方面，谢灵运也有看似不事雕琢脱口而出的句子，真切自然，如“池塘生春草，园柳变鸣禽“等。