一群倭寇不知道从哪里得知了一些只言片语，福建九莲山上有一个神秘的人，这个人可以威胁到明王朝的统治地位。他们误以为皇帝阿离的后人，是朱棣寻找不见的朱允文后人。他们想利用这些朱允文的后人，直接威胁明王朝的皇帝，争取名正言顺地统治中原。他们分兵五路，明暗相交，相互掩护，目的就是占领九莲山，找到所谓的朱允文后人。
南少林早一步知道了倭寇的动机，对于这些倭寇的行为又好气又好笑，但是不能让倭寇得到皇帝阿离的后人。虽然这些不是什么朱允文的后人，但是他们的身份真的可以威胁大明朝的稳定。南少林的人一边想办法抵御倭寇，一边秘密把这些南宋后人转移到另外一个秘密地方。虽然没有让倭寇得逞，但是这些饶身份已经暴露，不能再送回南少林看管。
多年后在戚继光的努力下，倭寇问题渐渐解除。如何安置南宋后人，和一些战争孤儿，成为了朝廷和军队的大麻烦。这些人不能随便当作老百姓，又不能直接转为军户，朝廷和军队只好想出一个不是办法的办法。朝廷找了一个相对封闭的环境，让这些人只有居住，但是不给大家绝对的自由。主要出入口有军队看管，一般的老百姓不能接触到他们。他们也不能轻易离开居住地，更加不能和外人来往。
这里的人除了南宋皇帝的后人，还有一些血脉不纯正的汉人。一些中国妇女被倭寇抓走后，有了倭寇的孩子，这些人是无辜的，孩子也是无辜的。这些妇女大多数人都不愿意抚养自己的孩子，甚至于想要亲手扼杀这些孩子。戚继光军队收养了不少这种半中半日血统的孩子，他们甚至于不能在中国顺利生活下去。朝廷把这些孩子集中起来，和南宋后人一起看管，让她们自生自灭。
朝廷和军队找到了一个相对隐秘和封闭的环境，这就是如今的东渔村和西山坳。南宋后人被安排在了东渔村，倭寇和中国妇女剩下的孩子住在西山坳。中间隔着草帽村和军营，而且两地之间还有一些不能直接往来的河流。每隔一段时间，军营用船只给他们送补给和物资，他们和囚犯差不多。还好南宋皇帝的后人已经习惯了这种半囚禁的生活，很快在这里习惯了生活。这就是东渔村第一批的居民。老李家虽然不是南宋后人，但是老李家的人血脉里面也有南宋后饶成分。
后来南宋后人渐渐失去了威胁朝廷和皇室的能力，然后军营的人渐渐忘记了这里的存在目的。后来的军营不再需要看管南宋后人，还有西山坳的倭寇后人。西山坳彻底变成了无人区，东渔村也人口越来越少，不用多久之后，也会彻底消失。军营从此不再供应两地物资和补给，东渔村彻底变成了普通的自然村。
据东渔村的第一批自由人，是被大海卷进东渔村的。他们在大海上被海盗袭击，他们在海里昏迷。醒来的时候，一无所有的商船，被海浪推进到了东渔村附近。都参与的人救下了这些外人，从此这些人成为了东渔村，南宋后人之外的第一批普通人。也结束了南宋后人近亲结婚的历史，让她们得到了生存和发展的机会。就算没有军营提供补给，他们也可以生存下去，东渔村渐渐成为了适合人类生存的地方。
清王朝统治中原后，东渔村彻底变成了一个普通的渔村。草帽村的军营也因为自己的原因，被朝廷裁撤了驻军，只留下一队军人驻守。清中期的时候，这个地方彻底取消了驻军，军营的地方变成了荒地。因为东渔村和西山坳的人数太少，所以外人把东渔村和西山坳合并在草帽村里面。外人只知道这里有一个草帽村的行政村，不知道还有东渔村和西山坳两个独立的自然村。