不过，那都只是展的潜力，而现在无论是海南岛还是台湾岛，都不过是荒岛一个，赵旉放弃目前已经充分开的特区，而只要了那么一小块蛮荒之地，任谁看，他都是吃了大亏的。大多数人可不会认为这是赵旉顾全大局，反倒以为他是怕了朝廷，即使是赵旉的追随者们恐怕也会因此而人心浮动。
这些风险赵旉自然是想到了，但这次的危机令他意识到，自己想要做到的，是改变历史的走向，其难度远比他当初想象的更大，所以他需要一批忠心不二的部属。而这次危机之中，赵旉最为信任的那些人，除了二王之外，就算没有投向朝廷，也大多选择了置身事外的做法，令赵旉非常失望的同时，也令他对自己的识人之明产生了怀疑。
即使以魏胜为代表的年青军官，也不能完全令赵旉放心，没错，他们现在算得上忠心耿耿，那是因为他们深受“洗脑”的影响，而且也没有那么高的权力地位和复杂的社会关系。但狂热的个人崇拜会随着他们年龄与见识的增长而渐渐消退，而权位和金钱则会腐蚀他们的心灵，未来究竟如何，实在是不好说。赵旉可不想再在某个关键时期经历一次众叛亲离的感觉，所以他便打算利用这次机会做一次检验，而那些不惧传说中的“烟瘴”，也不管前途的渺茫难测，毅然追随赵旉南下琼州的，则将成为卫王府新的核心力量。
果不其然，在听说赵旉准备接受朝廷的条件，而被“配”到偏远贫瘠的岭南，地盘也被大幅度削减到只有半路大小后，赵旉麾下的将领官吏们纷纷色变。对此早有预料的赵旉很“坦然”地表示，岭南的烟瘴他虽然有办法加以防范，但也并不能完全杜绝风险，所以身体不好的还是不要勉强了，反正朝廷那边同意厚加荫赏。于是，才一会的工夫，很多本来神采奕奕的家伙就立刻萎靡了下来，仿佛某种烈性的传染病一下子将他们全打垮了
赵旉倒也没有特别生气，毕竟他很清楚，对这个年代的人来说，大多不明白所谓的“烟瘴”到底是什么，心生恐惧是很正常的。何况，只要想到岭南尤其是琼州根本就是流放犯人的地方，恐怕大多数人就会打消追随赵旉南下的念头。
赵旉更没有因为大部分部下不愿跟随而惶惶不安，因为有些人他就算是拽也会拽到海南岛去的，所以卫王府的骨架肯定还在。例如那些掌握稀缺工艺的匠师与他费尽心机才培养出的第一代新文化教师。不过，一向隐秘不愿示人的内卫们却没有被赵旉全部带走，特别是负责对外情报收集的军情司，赵旉几乎将其中的一半都交到了其父手上。
赵旉此举主要是为了弥补大宋朝廷在情报工作方面的不足，以防备退回老家的金人死灰复燃，不知怎的，赵旉虽然自恃金军主力已被重创，而辽军的东归就更是令他们难以翻身，但赵旉心中依然隐隐有些不安，增强朝廷的情报力量，也算是防患于未然吧。但用于对内的内情司，赵旉可是一个人也没放走，一来是自己依然很需要他们的力量，二来嘛，这些人一旦身份曝光，势必沦为过街老鼠，赵旉暂时管制人员流动可以防止他们的身份泄1ou，还是很有必要的。