尽管如此，赵旉虽然在战略分析与决策上已经显示出极高的天赋，但要说到政治斗争的伎俩，和那些官场上混迹多年的老油条们相比，还差得很远。只要暗中串联，耐心渗透，他们并不是没有机会。
然而，赵旉身边云集了一批当世杰出的人才，还有在外人看来神秘莫测的内卫系统，再加上卫王府相较大宋其他的官府而言极高的工作效率，使得他们不敢轻易下手，万一被赵旉过早觉，那他们就再也没有机会了。
但士大夫阶层数百年的积淀不是假的，其中不乏一些老jian巨滑之辈，他们很快就现了卫军管理模式中的漏洞，那就是决策权太过集中了。赵旉当初建立卫军时，为了防止卫军走上旧式军队军阀化的老路，虽然在执行权上尽量下放，对于决策权却抓得很紧。即使他后来现，一旦自己生病或是外出，卫王府的运转就会出现大问题，也只是让虞允文在他不在时有限地代其决策。
之所以只给有限的授权，倒不是由于赵旉像历史上的那些“圣君”一样不放心臣子，而是因为在赵旉看来，虞允文的才能虽然在自己之上，可是他毕竟是在这个时代长大成*人的，甚至可以说他完全就是一个符合儒家道德典范的谦谦君子，尽管自己已经作了很大的努力令其有所改变，但两人的思想路线还是多少有些分歧的，一旦授权过大，赵旉制定的国策便很可能遭到破坏。
不过虽然没有得到足够的权限，由于事关国运的重大决策并不常见，以虞允文得到的授权，也完全可以将卫王府与卫军的各项运作打理得井井有条。即使虞允文也遇到变故，赵旉的幕僚们应付一下日常事务还是没有问题的。可是这次赵旉离开大宋实在太久，这就出了问题，因为看似完美的虞允文，终于被那伙人找出了一个要命的弱点
其实赵旉也不是没想过设立一个机构以分担自己身上背负的重任，但是现在改革才开始没几年，尚未培养起足够数量的既得利益者，如果过早地推行上层民主，只会使改革很快偏离原有的方向。但赵旉还是太年轻了，思虑难免不周，他既然有这样的顾虑，就不该离开大宋那么久。也许是因为长久以来背负了太大的心理压力，赵旉来到广袤无边的西域之后，第一次从那种即使成年人都难以忍受的精神重负中解拖出来，确实有点乐不思蜀了
浏览着异域的风情，享受着在无边草原上策马狂奔的快感，无聊了还能调戏一下未成年的可爱萝莉（赵旉开始磨他的匕，“该死的作者，再乱写我捅死你”），还不用听爹娘的唠叨，赵旉这几个月里过得的确很开心，但若早知道会是这样的代价，恐怕他说什么也不会在国外如此拖沓了
虞允文是天下少有的大孝子，他的母亲此时已经亡故，但体弱多病的老父仍然健在，不过由于改革大计离不了他，虞允文这几年来难得回家一趟，尽不到人子的孝道，心中一直内疚万分。而赵旉的反对者们正是抓住了这一点，令虞允文陷入了巨大的痛苦之中。
虞允文的父亲虞祺是朝廷的御史，人品端方、清正廉洁，他当年因为儿子的缘故从川陕地区调入中枢，现在却已是大宋清流之中的重要人物。这足以看出虞祺的才能和人品，随着官职的提升，和清名的远播，虞祺与那些士大夫的上层人物交往日益频繁，而那些人中的大部分却都是赵旉改革的反对者。虞祺不是圣人，自己又本来就是士大夫阶层的一员，时间一长，思想不免受到了那些人的影响，而越来越与整个阶层趋同起来。