その昔、この道の奥にある谷で、たくさんの「五輪の塔」が出てきた。五輪の塔とはつまり墓石である。そこで、人々はそれを集めて祠を建てた。その後、毘沙門天の仏像を持ってきて供養したという。

現在は集落の果てに位置している毘沙門堂だが、島にもっと多くの人がいた時代は、この道の奥にも民家や畑が続いていた。現在も畑はあるにはあるが商売としての畑はない。家族が食べるぶんと余ったらおすそわけするぐらいだという。

ちなみに、畑が柵で囲ってあるのはタヌキ対策である。