據說，島津家第17代當主島津義弘，在文祿慶長合戰期間曾帶著七隻貓奔赴戰場。仙巖園的“貓神社”裡供奉的是平安歸來的兩隻貓。
關於義弘為何帶著貓同行，還有一種說法稱，他是通過觀察貓瞳孔的開合程度來判斷時間，把貓當作“時鐘”使用的，這樣的逸聞也流傳至今。

貓神社，最初位於鹿兒島城北端的護摩所內。明治維新後，島津家離開鹿兒島城時，神社也隨之遷至仙巖園內。2024年（令和6年）神社遷至現址，並在通往神社的參道上放置了悠閒自在的“導引貓”，並在神社內放置了“撫摸貓”。
島津義弘攜帶的貓中有一隻棕虎斑貓取名為“YASU”，從此在鹿兒島人們將擁有這種毛色的貓稱為“YASU貓”。據說，這個名字來源於義弘的次子久保。