這座“望嶽樓”，據傳是琉球王國贈予島津家第19代當主光久的禮物。“嶽”指的是櫻島，而這座亭子則是可以俯瞰櫻島的涼亭。
涼亭內地面鋪設的是名為“磚”的中式地磚，據說這些地磚燒制於17世紀左右，是仿照中國古代秦始皇時期建造的阿房宮而建的。牆上畫框裡的“望嶽樓”字樣，據說抄寫的是中國書法大師王羲之的書體。
1858年（安政5年），長崎海軍學校的“鹹臨丸”號抵達鹿兒島港時，船上的幕府家臣勝海舟和荷蘭教官卡滕迪克應邀前往仙巖園下榻。據《海舟語錄》記載，當時島津家第28代當主齊彬與勝海舟，曾在望嶽樓會面並交談。