在通往赤秃山山顶的途中有一块后醍醐天皇曾经居住的叫做“仁夫里坊”的寺院的遗迹。当时，后醍醐天皇将“仁夫里坊”重新命名为“愿成寺”，从“愿望”和“成真”的字面看来，大概是流浪到隐岐的后醍醐天皇寄托了“想回到京都”的情思，这个没有确定的说法。

人们推测后来的赤秃山大火将原来的仁夫里坊，也就是愿成寺烧毁，于是就迁移到这里来了。