这个小山坡，长期以来一直以盛开的山茶花的风景而闻名。而“椿山”这个地名，从镰仓转换到室町时代的南北朝时期，就已经开始使用了。南侧是乡村的稻田风光，西侧能看到远处的富士山的这个地方，在江户时代成为许多武士和商人们到访的著名景点。这里的山水风景，出现在浮世绘艺术家歌船（安藤）广重绘制的一系列浮世绘版画《名所江户百景》里（关口上水端芭蕉庵椿山）。

时间可以追溯到明治时代。明治维新后，平定了西南战役凯旋而归的山县有朋，每次到东京的郊区都会造访椿山地区。喜欢上这里风光明媚的风景的山县公在明治11年（1878年）购买了土地并建造了主楼和一个很大的庭园，将其命名为“椿山荘”。

山县有朋是，在江户时代末的动荡时期活跃在历史舞台的人，在明治维新后成为政府最高首脑，奠定了现代日本体系的基础。他担任过内阁总理大臣，陆军上将和元帅，以政治家和军人的身份赢得了声望。山县公在这里生活了40年，直到他80岁。在这期间，包括明治天皇和大正天皇在内的政界，商界和政府的领导人都曾到访于此，在椿山荘举行了许多重要的会议。无疑，椿山荘就是历史舞台的重要组成部分。

明治30年（1897年）立的“椿山荘石碑”上刻着，热爱这片土地的山县公与这片土地的缘分以及感慨。其中的这两非常具有代表性：

“首先，喜欢世间山水的人们，会寻找偏远乡村宁静的地方。我也在城市附近找到了这样的地方。”
“我不知道以后会有什么样的人会住在这里。那个人，会是像我这样保护这里的自然环境并享受其中吗？”