金時山には、金太郎にまつわる伝説がいくつか残されている。山の中腹にある「宿り石（ やどりいし）」は、金太郎が母の山姥（やまんば）と生活していた場所と言われている。

この巨石、真っ二つに割れているが、金太郎の怪力で割れた……というわけではなく、昭和6年に突然割れたそう。割れる前の岩が写った絵葉書が箱根町立郷土資料館にある。

岩を支えるように何本もの枝が置かれているが、これはいつの頃からか登山者が始めたもの。

登山道ではほかに、金太郎が手鞠にしたという「手鞠石」や蹴落としたという蹴落とし石を見ることができる。どれも巨石で、これで遊んでいたなんて、金太郎、すごい。