赤ハゲ山の頂上に向かう途中に、後醍醐天皇が暮らした「仁夫里坊」というお寺の跡地がある。そのとき、後醍醐天皇は「仁夫里坊」に新しい名前をつけた。それが「願成寺」。「願い」が「成る」という字からは、隠岐に流された後醍醐天皇の「京都に帰りたい」という想いが感じられるが、それは定かではない。その後、山火事によって赤ハゲ山にあった仁夫里坊＝願成寺は燃えてしまい、この場所に移動したと考えられている。