Wallis et futuna, l'exil à fleur de peau