乙女峠という名前の由来には、2つの言い伝えがある。ひとつは、江戸時代に仙石原に関所がおかれたことで、周辺の山々の立ち入りが原則として禁止されたため、「人々が足止めされた」という意味から「御留峠」（おとめとうげ）と呼ばれ、これがいつしか「乙女峠」へと変化していったという説だ。

もうひとつは、悲しい話だ。その昔、仙石原で父親と暮らす娘がいた。その娘は、父親が体調を崩して寝たきりになると、かいがいしく世話をした。しかし、夜になると、毎晩出かけていく。父親は「男でもできたのでは？」と疑い、雪の降る夜、意を決して後をつけることにした。

すると、足跡は峠を越えた先にある、地蔵堂まで続いていた。娘は父親の回復を祈願するために、地蔵堂まで願掛けにきていたのだ。父親は慌てて娘を探したが、娘は雪に埋もれて亡くなっていた。この悲しい出来事から、乙女峠と呼ばれるようになったという説。