据说，岛津家第17代当主岛津义弘，在文禄庆长合战期间曾带着七只猫奔赴战场。仙岩园的“猫神社”里供奉的是平安归来的两只猫。
关于义弘为何带着猫同行，还有一种说法称，他是通过观察猫瞳孔的开合程度来判断时间，把猫当作“时钟”使用的，这样的逸闻也流传至今。

猫神社，最初位于鹿儿岛城北端的护摩所内。明治维新后，岛津家离开鹿儿岛城时，神社也随之迁至仙岩园内。2024年（令和6年）神社迁至现址，并在通往神社的参道上放置了悠闲自在的“导引猫”，并在神社内放置了“抚摸猫”。
岛津义弘携带的猫中有一只棕虎斑猫取名为“YASU”，从此在鹿儿岛人们将拥有这种毛色的猫称为“YASU猫”。据说，这个名字来源于义弘的次子久保。