江户时代，岛津家在鹿儿岛的居所是鹿儿岛城。然而，历代岛津当主因参勤交代制度返回鹿儿岛后，大多都会居住在他们的别墅仙岩园。
因此，这座宅邸被岛津家族代代相传下来。将这座宅邸定为岛津家本邸的，是萨摩藩最后一任藩主、第29代家主——岛津忠义。
随着废藩置县的实施，藩被废除后，岛津忠义离开了鹿儿岛城，一度在东京生活。然而，他很快就决定返回鹿儿岛并选择仙岩园作为主宅居住。
1884年（明治17年），岛津忠义对宅邸进行了大规模翻修，使其更符合当主的身份，整体建筑至今保存完好。宅邸的中心是面向前庭的宽阔“谒见厅”。谒见厅采用纹理笔直的杉木建造，横梁上雕刻着精美的镂空图案（日本传统建筑中的装饰性隔板），天花板上甚至悬挂着精美的水晶灯。岛津家当主曾在此招待贵宾，举行各种仪式。就连走廊也铺设了榻榻米，不难想象众多宾客曾列座在当主面前的庄重氛围。
宅邸处体现了当主身份的高贵，建筑细节也精益求精。甚至连每个房间里的钉子都带有隐藏钉帽。钉帽设计多达11种，其中包括在岛津忠义的客厅和卧室里使用的以“樱岛萝卜”为图案的萨摩烧钉帽，以及在觐见厅周围使用的引人注目的蝙蝠形状钉帽。蝙蝠在中国传统中被视为福气的象征，这里也体现了引入了中国文化的鹿儿岛·岛津家族特有的元素。