谢安出身于名门世家，其父谢裒，官至太常。也就是说他是高级干部的孩子，从小就是一个中央高级官员家的子弟。不但见多识广，而且深知官场规律和官场黑暗。谢安四岁时，名士桓彝见到他，大为赞赏，说:“这孩子风采神态清秀明达，将来不会比王东海(即东晋初年的名士王承)差。“他在童年时，便神态沉着，思维敏捷，风度条畅，工于行书。谢池每每说到这里的时候，都会十分得意的样子，好像谢安不是他的祖先，是他的亲儿子一样。
谢安少年时，得到名士王蒙及宰相王导的器重，已在上层社会中享有较高的声誉。然而谢安并不想凭借出身、名望去猎取高官厚禄。朝廷最初征召谢安入司徒府，授任他佐著作郎之职，都被谢安以有病为借口推辞了。说好听点是淡泊名利，说不好听点他是见惯了官场黑暗，不愿意插足官场而已。
后来，拒绝应召的谢安干脆隐居到会稽郡的东山，与王羲之、许询、支道林等名士、名僧频繁交游，出门便捕鱼打猎，回屋就吟诗作文，就是不愿当官。当时的扬州刺史庾冰仰慕谢安的名声，几次三番地命郡县官吏督促逼迫，谢安不得已，勉强赴召。仅隔一个多月，他又辞职回到了会稽。后来，朝廷又征召他为尚书郎、琅玡王友，谢安一概推辞。吏部尚书范汪举荐谢安为吏部郎，也被他写信拒绝。有关官员上疏认为谢安被朝廷征召，历年不应，应该禁锢终身，谢安便放浪于东部的名胜之地。
谢安曾到临安山，坐在石洞里，面对深谷，悠然叹道:“此般情致与伯夷有何区别!“又曾与名士孙绰等人泛舟大海，风起浪涌，众人十分惊恐，谢安却吟啸自若。船夫因为谢安高兴，照旧驾船漫游。风浪转大，谢安慢慢说:“如此大风我们将如何返回呢?“船夫听从吩咐立即驾船返航。众人无不钦佩谢安宽宏镇定的气度。谢安虽然纵情于山水，但每次游赏，总是携带歌女同行。
每一次谢池讲到这里的时候，小花都会鄙视这个祖先，他这么多情风流，难道不顾忌家里妻儿的名誉吗？难道这个祖先和父亲谢池一样，都是一个对自己家庭不负责的男人？小花从小鄙视这种男人，也导致她长大后性格上的一些怪异。小花不但从小鄙视一些男人，更是不愿意相信这种男人，小花从小多疑多心成为了小花的一个毛病。
谢安虽然屡屡不愿出山，但当时执政的会稽王司马昱说:“安石(谢安字)既然能与人同乐，也必定能与人同忧，再征召他，他肯定会应召。“当时，谢安的弟弟谢万任西中郎将、豫州刺史，担负守边的重任。谢安虽然隐遁山林，但其名声超过了谢万，有任宰辅的声望。他平素常常用礼节来教导子弟。
小花听到这里的时候，总会心里嘀咕一些话。她觉得这个祖先不但优点不负责任，而且喜欢沽名钓誉。明明不想当官，为什么还要经常和一些当官的人来往？从一开始动机就不纯，不是真正想隐居的人。当初不当官一定是嫌弃官位低，这才不愿意去当官的。只要官位够大，只要符合他的要求，他一定屁颠屁颠去当官的。要是他不想当官的话，躲在深山老林里面，谁也不可能找得到他，他就不会有麻烦了。说到底，他就是一个心口不一，沽名钓誉的一个伪君子。这是小花这个后人，对自己祖先谢安的最终评价。