徐卫真的走了，走得非常干脆麻利，丝毫不拖泥带水。交割公务、变卖地产、举家迁居，没有拖延不前，没有讨价还价，没有旁枝末节，如果说他是以辞职要挟朝廷或者有其他什么图谋，能这样么？
所以，当杭州清楚这一切后，皇帝大臣都放了心。自然的，还有一些不解。但这种不解几乎可以忽略掉，太祖皇帝陈桥受禅后，就不动干戈，以一种非常平和的方式，解除了开国功臣们的兵权。当时，那些追随他打天下的老弟兄，也不曾见有谁反抗或者说抵触？在一个“文治”的国家里，武臣就应该是这样。
甚至连秦桧也终于相信了，徐卫不但辞职，而且非常自觉地选择迁居四川，离开陕西，他的根据地，一切都好似在为朝廷考虑一般。秦桧当然不相信徐卫有这种高风亮节，他将徐卫这一系列的举动解读“识时务”。天下太平，就该刀枪入回，马放南山，这是大势所趋，任何人都不可能逆潮流而动，包括徐卫。识时务者为俊杰，所以，徐卫也算是个俊杰吧。
但是，秦桧认为这并不意味着，徐卫这个潜在的威胁从此消除了。他虽然去职，放下了权力，但其在川陕无与伦比的影响力仍在。对待徐卫，还要听其言，观其行，一直盯着他，不能放松警惕。
有鉴于此，他提醒权代宣抚使职权的刘光世，要随时注意徐卫的一言一行，但有什么风吹草动，马上报告朝廷。
秦桧虽然不打算就此“放过”徐卫，但就个人角度而言，徐卫对他没什么威胁。反而是出知泉州的徐良，才是秦会之的心腹之患。徐良虽然出朝。他的党羽也散了。但是和他的堂弟一样，余威仍在。
而且徐良显然不如他的堂弟低调，虽然人离开了中枢，离开了权力核心。但“心”还在朝廷。正如范仲淹所言“居庙堂之高则忧其民，处江湖之远则忧其君”。徐良离开杭州之后。半道上都还在向皇帝上书，阐述方略。他坚持认为，大宋应该趁现在将士还未懈怠之时。一劳永逸地解决问题。而不是拖延。更不可对金国抱有幻想，女真人的反复无常，国朝早就领教过了，必须得长长记xìng。
同时，他又论述了宋、金、辽三足鼎立的情况下，大宋应该何去何从。其看法。深受徐卫影响，那就是坐等实力的此消彼长。此外。徐良很不明智地在上奏中多次规劝皇帝，不要任用宦官，不要放纵后宫。
他的这些上奏，皇帝或许没有当回事。但刘皇后、沈择、秦桧之流却深恨之。你都已经混成这模样了，都去作个知州了，怎么还这副德xìng？是嫌不够惨么？正因如此，这伙人打定主意，徐卫已经下野，且不管他，集中精力处理好徐良的事。