奥社へ向かう山道を進むと、分かれ道に石の道標が立っている。その道標に、不自然に削り取られた跡があった。
ここには、仏教で使われる文字「梵字」が刻まれていたという。削られたのは明治時代のこと。それまで日本では神と仏が一緒になって祀られていたが、日本古来の神道を大切にする明治政府は、仏教の要素を排除し、修験も禁じるべきと考えたのだ。
この時、顕光寺は戸隠神社となり、それぞれ宝光院、中院、奥院から、宝光社、中社、奥社へと改められた。日本各地で寺院や仏像を壊し、打ち捨てる運動まで起こり、顕光寺も完全に抗うことはできなかった。しかし政府の目をかいくぐり、屋根裏に隠したり、心ある寺に引き渡したりして、現在まで残っている仏像もある。各地へ散らばった仏像たちは、7年に一度戸隠に帰ってきて、拝観できるようになる。