沿着通往奥社的山路前行，在一条岔路上能看到石头做的路标。路标上有一个人为刮掉的痕迹。
据传，这里曾雕刻着在佛教中使用的“梵字”。被人为地刮掉的是在明治时代。在此之前，日本一直把神和佛放在一起供奉。但明治政府为了主推日本古老的神道教，推行了消除佛教元素禁止人们修行的政策。
在这种时代背的景下，显光寺变成户隐神社，分别把宝光院、中院、奥院，改名为宝光社、中社、奥社。日本各地的寺院和佛像不断被破坏，甚至掀起了铲除佛教的灭佛运动，而显光寺也无法与时代全力抗争。但是，他们躲避政府的监视，不仅把一些佛像藏在了阁楼里，还把一些佛像转到了其他寺院。散落在各地的佛像，每七年都会返回户隐一次。