Ama a aussi su jouer un rôle dans l'Histoire japonaise, en tant que terre d'exile pour de nombreux guerriers défaits et personnages politiques bannis. Au Japon, les terres d'exiles étaient attribuées en fonction du rang de l'exilé et de la nature de son crime. Les plus gradés se trouvaient exilés le plus loin possible de la scène politique, et l'on raconte qu'Ama était l'un de ces endroits.

Le premier personnage important qui se trouva banni à Ama fut Ono no Takamura en 724 avant Jésus Christ, mais il ne resta qu'une année puisque l'Empereur lui pardonna. Go Toba, un ancien Empereur, connut le même sort. Exilé en 1221, il y vivra 19 ans jusqu'à sa mort. Il existe aujourd'hui de nombreuses légendes quant à sa vie à Ama. On raconte, qu'il appréciait énormément la facture d'épée, et la tauromachie. C'était aussi un passionné de poésie, composant lui-même quelques poèmes. Durant la période d'Edo (1615-1868), il aurait vécut à Ama plus de 20 000 exilés, dont on pense que la vie a été positivement influencée par la présence d'empereurs respectés.

L'ancien empereur Go Toba écrira : “ Voici donc l'île qui se trouve à présent sous ma protection. Puissant vent venu de la mer, apaise ton souffle ”