鬼ヶ城は1,500万年前の火山爆発で噴出した火山灰が固まった凝灰岩といわれる石でできています。この石はとても柔らかいので、波や風に浸食されてできた多くの洞窟が見られます。

昔、この洞窟に住んでいた鬼の大将の多娥丸（たがまる）を坂上田村麻呂が討ち取ったという伝説があります。多くの洞窟がある鬼ヶ城は住処（すみか）として良かったのかもしれません。

鬼ヶ城はもともと鬼の岩屋と呼ばれていましたが、戦国時代に山頂に城が築かれてからは鬼ヶ城と呼ばれるようになりました。