這個小山坡，長期以來一直以盛開的山茶花的風景而聞名。而“椿山”這個地名，從鐮倉轉換到室町時代的南北朝時期，就已經開始使用了。南側是鄉村的稻田風光，西側能看到遠處的富士山的這個地方，在江戶時代成為許多武士和商人們到訪的著名景點。這裡的山水風景，出現在浮世繪藝術家歌船（安藤）廣重繪製的一系列浮世繪版畫《名所江戶百景》裡（關口上水端芭蕉庵椿山）。

時間可以追溯到明治時代。明治維新後，平定了西南戰役凱旋而歸的山縣有朋，每次到東京的郊區都會造訪椿山地區。喜歡上這裡風光明媚的風景的山縣公在明治11年（1878年）購買了土地並建造了主樓和一個很大的庭園，將其命名為“椿山荘”。

山縣有朋是，在江戶時代末的動盪時期活躍在歷史舞臺的人，在明治維新後成為政府最高首腦，奠定了現代日本體系的基礎。他擔任過內閣總理大臣，陸軍上將和元帥，以政治家和軍人的身份贏得了聲望。山縣公在這裡生活了40年，直到他80歲。在這期間，包括明治天皇和大正天皇在內的政界，商界和政府的領導人都曾到訪於此，在椿山荘舉行了許多重要的會議。無疑，椿山荘就是歷史舞臺的重要組成部分。

明治30年（1897年）立的“椿山荘石碑”上刻著，熱愛這片土地的山縣公與這片土地的緣分以及感慨。其中的這兩非常具有代表性：

“首先，喜歡世間山水的人們，會尋找偏遠鄉村寧靜的地方。我也在城市附近找到了這樣的地方。”
“我不知道以後會有什麼樣的人會住在這裡。那個人，會是像我這樣保護這裡的自然環境並享受其中嗎？”