在隐岐作为发配地的时候，很多上层社会的人作为政治犯被放逐到这里。可以说，知夫里这样的孤岛，能留存各种各样的文化底蕴，也是有流放者们将本土的文化带到了岛上的因素在里面吧。

比如流放者中有一位和尚，法号“速了”，他曾为在一宫神社的小剧场举行的村联欢晚会进行过现场指导，而且安置在佛堂里的“大般若波罗蜜多经”，也被人们普遍认为是速了大师带来的。

不光是这里，知夫里中多处可见的石灯笼一样的五环塔，据说是为流放到这里的大人物们建造的墓，死后有这样大规模的墓，看来这些人的来头都非同小可。以前这些墓都是分布在各处的，现在则变成了在各地区的佛堂里统一保管。