这座“望岳楼”，据传是琉球王国赠予岛津家第19代当主光久的礼物。“岳”指的是樱岛，而这座亭子则是可以俯瞰樱岛的凉亭。
凉亭内地面铺设的是名为“砖”的中式地砖，据说这些地砖烧制于17世纪左右，是仿照中国古代秦始皇时期建造的阿房宫而建的。墙上画框里的“望岳楼”字样，据说抄写的是中国书法大师王羲之的书体。
1858年（安政5年），长崎海军学校的“咸临丸”号抵达鹿儿岛港时，船上的幕府家臣胜海舟和荷兰教官卡滕迪克应邀前往仙岩园下榻。据《海舟语录》记载，当时岛津家第28代当主齐彬与胜海舟，曾在望岳楼会面并交谈。