就这样皇帝阿离一家人，还有他的随从十二饶家属，他们在九莲山后山过上了半隐居的生活。他们相互结亲，相互之间都是亲戚关系，皇帝阿离也在这里过世。关于他们的身份和来历，只有一些核心人员才知道，其他人都以为他们知识南宋遗民而已。他们渐渐失去了和明王朝朱家抢夺下的能力和时机。相信不久之后，等到他们彻底和政治脱钩的时候，就是他们可以恢复自由的时候了。
明中期的倭寇事件，又一次改变了他们的命运。
倭寇是指十四至十六世纪侵扰劫掠中国和朝鲜沿海地区的海盗，除沿海劫掠以外主要从事中日走私贸易。抗日战争期间，中国人亦用倭寇指称日本侵略者。
以日本为基地，活跃于朝鲜半岛及中国大陆沿岸的海上入侵者。曾经被归于海盗之类，但实际上其抢掠对象并不是船只，而是陆上城剩
明谢肇淛《五杂俎·地部一》:“亦使浙直诸军士因之习於海战，倭寇之来，可以截流而御之。“《明史·外国传三·日本》:“有捕倭寇数十人至京者，廷臣请正法。“郁达夫《游于山戚公祠》诗:“但使南疆猛将在，不教倭寇渡江涯。“老舍《四世同堂》第二部五十:“这仙境中的主人已换上了杀人不眨眼的倭寇;那仙姿逸态又有什么用呢?“陈毅《哭叶军长希夷》诗:“东进杀倭寇，举世惊风雷。“
“倭“字从人从委，委亦声。“委“意为“身材软缩“、“身材一号“。“人“与“委“联合起来表示“身材矮的人“。秦语中，寇与贼同意。“完“指“家园完整“，“攴“指“敲打“。“完“与“攴“联合起来表示“家园破碎“。
所谓“倭寇“一辞的由来，是从'高句丽广开土王碑'(西元414年)碑文上所记载“倭寇○○(某地名)“而来，在此“寇“当动词，即“日本侵略(某地名)“之意，而之后“倭寇“二字作为名词独立，用以称呼来自日本的侵略者。“倭寇“这一称呼大约使用于公元7世纪后期，在16世纪倭酋丰臣秀吉的倭乱、以及中国的抗日战争里。
十四世纪初叶，日本进入南北朝分裂时期，封建诸侯割据，互相攻战，争权夺利。在战争中失败聊一些南朝封建主，就组织武士、商人和浪冉中国沿海地区进行武装走私和抢劫烧杀的海盗活动，历史上称之为“倭寇“。
朱元璋建立明朝的时候，日本正处于封建割据的南北朝时代。早在元顺帝至元二年(1336年)，打进京都的足利尊氏废黜了后醍醐皇，另立皇，自任征夷大将军，设幕府于京都。后醍醐皇南逃吉野，建立朝廷，史称南朝，在京都的朝廷被称为北朝。后醍醐皇为了恢复王权，推翻幕府，派他的儿子在九州设征西府。除了南、北两个朝廷外，还有许多割据势力--守护大名。他们掠夺财富，除互相争战之外，还常常支持和勾结海盗商人骚扰和掳掠中国沿海地区，形成了元末明初的倭患。朱元璋即位后，连续派使者到日本，以恢复两国关系，更重要的是为了消弥倭患。但由于日本处于分裂对抗状态，几次派使都毫无结果，倭寇侵扰日渐繁复。北起山东，南到福建，到处受到劫掠。洪武二十五年(1392年)，北朝统一日本。南朝的武士、失意政客和浪人失去了依托，于是流落海上，盘踞海岛，形成了一股不的力量，不时侵扰中国沿海，造成洪武末年日渐炽盛的倭患。
统一日本的足利幕府第三代将军足利义满，也想肃清南朝的残余势力，打击海上盗贼，同时也想发展与明朝的贸易，获取丰厚的利益。于是，两国恢复了关系。明成祖时，双方建立了勘合贸易关系，明朝给予足利幕府贸易凭证，即勘合，日本方面凭勘合来中国进贡，进行贸易。明朝发展与日本的关系，主要是为了消除倭寇对中国沿海地区的侵扰，足利幕府也积极剿捕倭寇。在足利义满死后，其子足利义持改变政策，双方勘合贸易中断，日本也不再剿捕倭寇，足利义满时期稍有收敛的倭寇劫掠又在中国沿海一带蔓延开来。
其后，在足利义教时期，中日勘合贸易又得以恢复。成化三年，即日本应仁元年(1467年)，日本进入了战国时代，足利幕府衰弱，勘合贸易制度遭到破坏，一些守护大名为了争得与明朝贸易的权力，抢夺勘合，没有贸易勘合的大名便进行海盗活动，明嘉靖中叶以后，中日勘合贸易完全断绝，倭寇侵扰日益严重。
明初，由于国力强盛，重视海军、海运建设，因此倭寇未能酿成大患。正统以后，下西洋停止随着明朝政治腐败，海军松弛，倭寇气焰便日益嚣张。正统四年(1439年)，倭寇侵扰浙江台州的桃渚村，杀人放火，掘坟挖墓，甚至把婴儿束在竿上，用开水浇，看着婴心啼哭，拍手笑乐。倭寇的罪行，给中国人民带来了痛苦和灾难。
至嘉靖时期，随着东南沿海一带商品经济的进一步发展，对外贸易相当发达。沿海一带私人经营的海上贸易也十分活跃。一些海商大贾、浙闽大姓为了牟取暴利，不顾朝廷的海禁命令，和“番舶夷商“相互贩卖货物，他们成群分党，形成海上武装走私集团，有的甚至亡命海外，勾结日本各岛的倭寇，于沿海劫掠。这些海盗商人如王直、徐海等，与倭寇勾结，使得倭患愈演愈烈。同时一些明朝官僚也与这些寇盗建立了联系。嘉靖二十七年(1548年)，明朝派朱纨巡抚浙江，兼提督福建军务，朱纨到任后，封锁海面，击杀了通倭的李光头等96人。朱纨的海禁触犯了通倭的官僚、豪富的利益，他们指使在朝的官僚攻击朱纨擅杀，结果朱纨被迫自杀。从此，罢巡视大臣不设，朝中朝外，不敢再提海禁之事。倭寇更加猖獗起来。
古代倭寇主要分为元朝、明初----明朝中后期的前后两期。前期(元初至明初)倭寇以日本的本国人为主，目的是为了报复征日的蒙朝联军的侵略和女真海盗的掳掠，主要是以日本军队的军事报复为主;中后期(正德至万历)的倭寇基本上是中日混编队，原因为明朝的闭关锁国(海禁)政策和日本国内分裂动荡。主要以中国沿海居民(海盗)和日本浪人为主，在巨大的经济利益和丰硕的物质回报促使中日两国的冒险家铤而走险。
明朝之前
蒙古入主中原后，元世祖忽必烈于至元十一年(公元1274年)、至元十八年两次征讨日本，虽然因种种原因最终失败，但日本政府也因为恐惧元军的再度进攻，加强海军，日本在元朝时期不敢和中国来往。朝鲜史取对马岛、壹岐岛、平户岛三地之名，称为“三岛倭寇“。清朝的徐继畭所着“瀛环志略“，以及朝鲜的安鼎福所着“东史纲目“，均指出倭寇的起因在于朝鲜人(高丽人)配合蒙古侵日行为所引发的报复。
后来日本进入南北朝的动乱状态，倭寇的活动也由于政府管制力减弱而加剧。由于前期倭寇对于日本与明朝、高丽贸易造成破坏，初成立的明朝政府对日本南朝发出讨伐倭寇的要求，随后敕封讨寇有功的南朝将军“日本国王“的称号。之后北朝室町幕府在南北朝合一后，由室町幕府将军足利义满再度进行讨伐，随后受封为新的“日本国王“。李氏朝鲜的开国君主李成桂因为讨伐倭寇有功得到很大的声望和势力，后来进行政变取代高丽王朝建立朝鲜王朝。之后随着明朝与日本间勘合贸易的盛行，以及对马岛与朝鲜之间的贸易开放，前期倭寇也逐渐式微。
前期的倭寇，是以日本人为主体，故被称为“真倭“(以平户藩松浦家为核心)。
明朝初年，移居南洋一带的华侨迅速增加，其原因主要有二:一是张士诚、方国珍的残余势力流落到南洋一带，二是因为海禁严厉，私自出海的商民留居南洋不归张士诚、方国珍原来都是盐商，以在海上贩盐为业。元末农民大起义中，他们各自雄据一方，部从都达数十万众。他们的根据地在江浙沿海一带，其部下也多是沿海人民，熟悉海上形势。当张、方集团被朱元璋陆续攻灭后，其部下多逃亡海上，继续与朱明王朝为担这种反明活动一再失败，其余部就散居南洋各地，成为华侨。他们有的到了日本，大多数是“借交趾、占城、阔婆、暹罗为逋薮明成祖即位后，闻知逃居东南海上的中国人很多，便特地发了一道诏令中国人逃匿在彼者，成赦前过，俾复本业但收效甚微。明初厉行海禁，严禁私人出海贸易。这是对宋元以来海外贸易持续发展的反动，遭到沿海人民的强烈反对。沿海人民以海为生，或渔或商，久成习惯。实行海禁，无疑等于断绝了他们的生路。他们“不肯束手困穷，于是所在联结为寇，溃裂以出“为了逃避明王朝的惩罚，他们便滞留海外不归，从而成为华侨。这正如顾炎武所:“永乐间......以民衣食所赖，逐稍宽禁。“
明朝时，福建有不少武装走私集团，或者是海盗。当中央政府进行镇压，他们在沿海待不住，就逃到台湾。郑成功的父亲郑芝龙与颜思齐这两个海盗就跑到台湾，在北港建立基地。管辖的居民中有渔民，也有大陆迁过去的其他汉人，大概有几万人。明朝的开国皇帝朱元璋有过“片板不许下海“的规定，但实际上，特别是当葡萄牙人、西班牙人、荷兰冉达东南亚时，走私贸易就相当兴盛，特别具有冒险精神的福建人就与他们贸易。福建地方政府眼开眼闭，因为商人每年交的钱可以补贴福建的财政开支，也可给地方官员发“奖金“。所以非但不管，还支持他们。如果朝廷下令清查，他们会通风报信，或者出动军队驱赶，海盗就会逃到外面去。
顺便讲一下，明朝有倭寇，以前都称倭寇为日本人对中国的侵略。其实，“倭寇“主要是福建以及沿海的走私商人或海盗，他们雇佣一些日本人打仗，地方官打不过他们，就报告朝廷，我们不是打不过，因为都是日本人，很厉害，所以就称为倭寇。倭寇主体是中国人，首领是王直(一作汪直)，是徽商。所以主要是中国商人、武装走私集团自己在骚扰，借了日本饶名义，不是日本侵略中国。他们当时与日本饶来往很密切，比如郑成功的母亲郑芝龙太太就是日本人，郑成功是中日混血儿。现在日本还有她的碑和墓。这些事实以前历史书上讲得实在太简单，长期造成误导。