望嶽楼は、19代島津光久の時代に琉球王国から贈られたと伝わる建物です。「嶽」とは「桜島」を指し、桜島を望むために設けられた四阿(あずまや)とされています。安政5年(1858)に28代斉彬と幕臣・勝海舟の会談が行われるなど、賓客をもてなす場としても用いられました。

床に敷き詰められた磚(せん)は、始皇帝が築いた阿房宮の床瓦を模して、17世紀頃に焼かれたものといわれています。内部には、中国の書聖・王羲之の書体を書き写した額を掲げており、中国文化の影響を色濃く伝えています。