江戶時代，島津家在鹿兒島的居所是鹿兒島城。然而，歷代島津當主因參勤交代制度返回鹿兒島後，大多都會居住在他們的別墅仙巖園。
因此，這座宅邸被島津家族代代相傳下來。將這座宅邸定為島津家本邸的，是薩摩藩最後一任藩主、第29代家主——島津忠義。
隨著廢藩置縣的實施，藩被廢除後，島津忠義離開了鹿兒島城，一度在東京生活。然而，他很快就決定返回鹿兒島並選擇仙巖園作為主宅居住。
1884年（明治17年），島津忠義對宅邸進行了大規模翻修，使其更符合當主的身份，整體建築至今保存完好。宅邸的中心是面向前庭的寬闊“謁見廳”。謁見廳採用紋理筆直的杉木建造，橫樑上雕刻著精美的鏤空圖案（日本傳統建築中的裝飾性隔板），天花板上甚至懸掛著精美的水晶燈。島津家當主曾在此招待貴賓，舉行各種儀式。就連走廊也鋪設了榻榻米，不難想像眾多賓客曾列座在當主面前的莊重氛圍。
宅邸處體現了當主身份的高貴，建築細節也精益求精。甚至連每個房間裡的釘子都帶有隱藏釘帽。釘帽設計多達11種，其中包括在島津忠義的客廳和臥室裡使用的以“櫻島蘿蔔”為圖案的薩摩燒釘帽，以及在覲見廳周圍使用的引人注目的蝙蝠形狀釘帽。蝙蝠在中國傳統中被視為福氣的象徵，這裡也體現了引入了中國文化的鹿兒島·島津家族特有的元素。