御手洗に港と港町が整備されたとき、最初に町年寄になったのが柴屋です。町年寄とは、当時の町長のようなものです。それだけの力がある人なので立派な家に住んでいました。それに、御手洗を訪れた要人は町の顔である町年寄を頼ることになります。そのため、この家では名だたる人たちを接待してきました。
たとえば、1806年のその日、伊能忠敬が御手洗を訪れました。伊能忠敬は正確な日本地図をつくったことで知られる人物です。全国の海岸線を3500万歩近く、歩いて測量したといわれますが、瀬戸内海の島々の複雑な海岸線を歩くのはどれほど大変だったことでしょう。およそ20人のチームで御手洗を訪れ、この家を拠点に3日間、あちこちを測量していたといいます。夜は夜で天体観測。測量をより正確にするために星を見ながら緯度や経度を測っていたというので、休む暇もなかったのかもしれません。はたして伊能忠敬はこの家でどんな時間を過ごしたのでしょうか。