桓温不愿意跟随着桓彝一起外出，很大一部分原因是在于高飞，他虽然表面上答应桓彝和高飞成为朋友，但实际上他的内心里却极为不愿意。
因为，自从高飞出现之后，他头上顶着的聪明光环就一点一点的变得黯淡了下来，父亲对他的重视也逐渐减弱了不少，而且每次说话时，总是在他的面前说高飞如何如何，在他听来，自然是不舒服的。
其实，别看桓温外表冷漠，但其实他的内心里还是带着一点孩子气，毕竟只有八岁大，本身就是孩子的年纪，其童真的天性是无论如何都改变不了的。
高飞就好比是别人家的孩子一样，父母希望自己的孩子如何如何，总是在孩子的面前说道你看别人家的孩子怎么怎么样，看似在激励自己的孩子，实则却让自己的孩子产生了厌烦的心理，不但没有达到目的，反而还会适得其反，桓彝、桓温父子就是这样的典型的例子。
不过，这也怪不得桓彝，晋代承袭曹魏，其治国的理念和宗旨，以及国家的政治体系，都大部分沿用了曹魏的制度，就连九品中正制也一并延续了下来。
九品中正制，刚开始的宗旨是为了选拔人才，根据推荐和评语来踏上仕途，做上大官。但是自从晋朝建立以后，九品中正制也完全变了模样，开始完全以家世来定品级。出身寒门者，行状评语再高也只能定在下品；出身豪门者行状不佳亦能位列上品。于是就行成了当时“上品无寒门，下品无士族“的局面。
这是一个特定的历史时期，刚好桓彝就处在了这个非常独特的历史时期，他虽然也是名门之后，但那都是曹魏时期的事情了，他的曾祖父桓范曾做过大司农，但因为当时站错了队伍，成为了曹爽的智囊，司马懿夺权时，诛杀了曹爽，并且将智囊桓范也一并处死。不过好在并未殃及家人，桓彝祖父这一脉才得意续存，从某种意义上来说，司马氏就是桓氏的仇人。
所以，自从桓彝祖父那一代开始，就立下了祖训，不得桓氏中人入朝为官。但桓彝之父却是第一个打破祖训的人，他不甘寂寞，在朝廷出任了官职，虽然有才华，但是因为家世的问题，只止步于郎中的位置上，一辈子兢兢业业，却无法做到更大的官。
到了桓彝这一代，正好历经八王之乱，又经历了两晋交替，桓彝自幼聪明好学，能文善武，眼看国家蒙尘，桓彝虽有着一颗报国的心，但却苦于没有一个施展他能力的平台，若不是好友庾亮的举荐，只怕这个小小的乌江县令都当不上。
也正是因为如此，所以桓彝才一心想要自己的儿子桓温早早的就成为人上人，悉心的教导着他，也亏的桓温聪明，无论学什么东西，都是一学就会。所以，桓彝无论他走到哪里，都把桓温带在身边，把所有的希望都寄托在了桓温的身上。
桓彝这样的做法是对的，但是方式却不对，过早的让桓温成为了他梦想上的牺牲品，性格孤傲冷僻，很少有人能跟他一起做朋友的。当桓彝意识到这样的问题时，早已经为时已晚了。
其实，高飞是桓彝第一个主动给桓温介绍的朋友，他虽然有心撮合，但怎奈儿子桓温没有这个意思，作为父亲的桓彝，也是只能是闷声不吭，一个人把苦恼往肚子里塞。