到了第四天头上，妖人又去陆上取吃食，回来时顺带又给小蝶捎了几件极华美的衣服。可是小蝶却不理不睬，仍是穿着原有的那身衣裳。
妖人也不强求，索性由她，听之任之。
一晃两人在荒岛上住了一个多月，在前些天那妖人还天天往陆地上去给小蝶取吃食，后来恐泄漏自己的行踪，给对头发现，便去得少了，每去一次便带回足够两人吃上五六的食物。
在这些天里，小蝶仍是一句话也未和妖人说过，那妖人也不以为意，却是每天变着法子逗小蝶开心，想博她一笑，可是小蝶不为所动，一直都不言不笑。
这一天，妖人忽对小蝶说道：“这里不难再住下去了，我们该换地方了。”
小蝶虽不知妖人此举何意，却也没问。
只听那妖人又说道：“你的那些朋友正在四下寻你的下落，这里住得久了，恐会给他们发现，还是换个地方安全。”
小蝶恍然，心里虽然不愿，却也由不得自己。
当天妖人便带着小蝶离了此岛，又迁到另一个海岛上了。妖人甚是谨慎，临去时将树屋化去不见，岛上更是不留一丝痕迹。
新到的海岛，比原来那岛略大一些，景色也幽美。更妙的是岛上还有一个洞穴，虽然又窄小又阴湿，但经妖人用法术装修后，竟是焕然一新。妖人为博小蝶欢心，极尽所能，绣床锦帐，玉桌玉几，华丽无比，与之前那树屋无疑天壤之别。