沿著通往奧社的山路前行，在一條岔路上能看到石頭做的路標。路標上有一個人為刮掉的痕跡。
據傳，這裡曾雕刻著在佛教中使用的“梵字”。被人為地刮掉的是在明治時代。在此之前，日本一直把神和佛放在一起供奉。但明治政府為了主推日本古老的神道教，推行了消除佛教元素禁止人們修行的政策。
在這種時代背的景下，顯光寺變成戶隱神社，分別把寶光院、中院、奧院，改名為寶光社、中社、奧社。日本各地的寺院和佛像不斷被破壞，甚至掀起了剷除佛教的滅佛運動，而顯光寺也無法與時代全力抗爭。但是，他們躲避政府的監視，不僅把一些佛像藏在了閣樓裡，還把一些佛像轉到了其他寺院。散落在各地的佛像，每七年都會返回戶隱一次。