このあたりには、かつて「仁夫里坊」と「宇類美坊」という2つのお寺が存在していた。

目の前にあるのは「仁夫里坊」の跡地。現在は移転して「願成寺」になったといわれている。また、遥か向こうに同じような形をした石組みが見られるのが「宇類美坊」の跡地。現在は移転して「松養寺」になったといわれている。

なぜ、移転したのかといえば「赤ハゲ山」という名前の由来にも関係している。

仁夫里坊と宇類美坊があったころの赤ハゲ山はハゲておらず、背の高い木々が生い茂っていた。後醍醐天皇が隠岐に流されたのはこのころで、仁夫里坊や宇類美坊に泊まって暮らしていたともいわれている。しかし、その後、大きな山火事が発生。お寺ごと木々がすっかり燃えてしまったのだ。

以来、背の高い木々が生えることはなく、仁夫里坊と宇類美坊は、現在の願成寺、松養寺がある場所に移されたというわけだ。