仙巖園，始建于江戶時代初期1658年（萬治元年）。由島津家第19代當主光久，作為薩摩藩島津家的別墅而建造。眼前的借景庭園，巧妙地融合了櫻島和錦江灣的壯麗自然風光。歷代當主都將此地視為心靈安寧之所，珍愛有加，並世代相傳。

庭園的佈局體現了歷代當主的喜好，園內點綴著眾多中國及亞洲的植物、建築和園林石，成為日本的南方門戶薩摩藩的歷史底蘊。這些建築不僅營造出濃厚的異國情調，也曾作為迎賓館，用於接待來自國內外的重要賓客。
江戶時代末期，島津家第28代當主齊彬，在毗鄰的土地上建造了日本首個現代工廠綜合體。明治時期的島津家第29代當主忠義，為薩摩藩末代藩主，將仙巖園整修為島津家的主要居所，延用了園內的庭園和建築。
由於其歷史背景，仙巖園於1958年（昭和33年）被指定為日本的國家級名勝，並於2015年被列入世界文化遺產名錄。