岩屋堂は天狗倉山中腹にあり、巨大な岩の洞窟の中に観音像が祀られていますが、熊野では巨岩の洞窟の中に観音様が祀られていることが多いです。観音様にお祈りすることによって悩みや苦しみを少しでも軽くしたいと願ったのです。

旅人は馬越峠から天狗倉山を越えて岩屋堂にお参りすることもありました。観音信仰が盛んになった江戸時代の初めに地元のお寺の和尚さんが建立した千手観音、如意輪観音、十一面観音などの三十三観音が祀られています。