“半山园”距城东七里，距紫金山亦七里，恰为半途，因以得名“半山”，原名“晋谢公墩”，为谢安故居。
王安石二度罢相后，乃辞官回到金陵，在城东门到钟山途中的白塔为自己建造了这所居室。
在园内，王安石结交了许多高逸之友，包括米芾、李公麟、欧阳修和苏东坡等。有一次苏东坡乘船经过金陵，王安石特地骑着驴子，穿着粗布服到江边去迎接。苏东坡也不冠而敬揖，日：“轼今日以野服见大丞相。”王安石笑着说：“礼岂为我辈设哉！”既而两人说佛吟诗，王安石还邀请苏东坡同游钟山，并各自赋诗纪游。可见两个人政见虽不同，但私交和诗文之谊还是非常深厚的。
园子里有穿堂、天井、院落。构造为瓦顶、空斗墙、观音兜山脊或马头墙，乃是高低错落、粉墙黛瓦、庭院深邃的独具江南风格的建筑群。占地面积不大，周围林木环抱，院内有竹有花，真真是一处幽美静谧的桃源去处。
引着客人坐定，有老仆泡了茶上来。
“乃是山间野茶，唤作散楂子，诸位请用。”王棣又轻轻说了声：“家祖在世时最爱此茶，说是涩中有甘，方是人间百味。”
是临川先生最爱呀，几人捧了茶盏啜了几口，入口一股苦涩，稍顷一缕清香自舌尖慢慢散开，果然是苦中有甜、先苦后甜。
王棣的言语中多有提及祖父，却一次也未说起父亲，似乎有些不合常理，但并不奇怪。
冯过几人知晓其身世，事实上这不算辛秘之事。
其实，王棣并非王安石嫡孙，生父乃是王安礼的次子王旉。也就是说，他是王雱的嗣子。
王雱，字元泽，汉族江右民系，王安石之子，与王安礼、王安国、王雱被世称为“临川三王”。
王雱自幼敏悟。数岁时，客有一獐一鹿同笼以问雱：“何者是獐何者为鹿”雱实未识，良久对曰：“獐边者是鹿，鹿边者是獐。”客大奇之。廿岁前已著书数万言。
但其却敏感而脆弱，为人慓悍阴刻，无所顾忌，且睥睨一世，不能作小官。后因无法应对官场的尔虞我诈，精神受到刺激而疯疯癫癫。
王雱婚后一年多，怀疑自己的妻子庞氏对自己不忠，每天都找庞氏的错误，为了一些鸡毛蒜皮的小事而与庞氏争吵不休，对自己亲生的孩子也充满了怀疑，以貌不类己，百计欲杀之。于是这个王雱的幼子很快就被王雱折腾死了，王雱妻子庞氏凄苦不堪，只能是躲到一间小楼内每天以泪洗面，王安石看到儿子王雱的病情始终不见好转，非常心疼自己的儿媳，于是做主让王雱与庞氏离了婚，又认为庞氏没有任何的错误，不愿意让庞氏背上被休掉的名声，王安石还亲自为庞氏选择了一个好夫婿，相当隆重的将王雱妻子庞氏“嫁”了出去。这件事在当时传为美谈，即“王太祝(王雱)生前嫁妇”也。
其病逝时，年仅三十三岁，朝廷追赠临川伯。因其无子，遂过继叔叔王安礼的孙子王棣为子嗣。
俗话说：刀削不了自己的把儿，王安石把太多精力用在了变法革新上，以至于忽视了对儿子的教育，王雱人生的失败，做为父亲的王安石有着不可推卸的责任。
也正因如此，王安石对长子的过继子王棣十分宠爱，退隐金陵时悉心教授，可谓是倾尽了全部心血。祖孙情深，自是不用多说。至于王雱这个嗣父，王棣几无印象，又哪来的什么感情？
王安石重情，一生只有一位妻子，即他的表妹吴氏。
世人皆赞叹其不迩声色，从两件事可见一斑：
他为知制诰时，吴夫人为他买了一个小妾，王安石见到说：“你是谁？”那女子说：“夫人让我在您身边侍奉您。”王安石说：“你是谁家的女人？”那女子说：“我的丈夫是军中官员，监督运米时船沉，家中财产全部用尽（用来赔偿）还不够，所以只能卖了我来补偿。”王安石伤感地问：“夫人花了多少钱买你？”女子说：“九十万钱。”王安石叫来她的丈夫，让那对夫妇和好如初，把钱全赏赐给他们。
有人告诉王安石的夫人，说她丈夫喜欢吃鹿肉丝。在吃饭时他不吃别的菜，只把那盘鹿肉丝吃光了。夫人问，你们把鹿肉丝摆在了什么地方？大家说，摆在他正前面。夫人第二天把菜的位置调换了一下，鹿肉丝放得离他最远。结果，人们才发现，王安石只吃离他近的菜，桌子上照常摆着鹿肉丝，他竟完全不知道！
他与妻子感情甚笃、琴瑟和鸣，共育有三子三女，一子一女早夭，长子王棣英年早逝，次子王旁不仕，长女适浦城吴安持，次女适蔡卞。