关于加茂湖，流传着一个传说。
很久以前，加茂村里住着叫武右卫门的富翁。他贪婪成性，还经常念叨：“我要填平这个湖，成为佐渡的首富。”
一天晚上，武右卫门办完事回村的途中，遇见了一位年轻女子。月光下，女子的身影美得如同仙女般曼妙无比，男人只看了一眼就对女子一见倾心。武右卫门与同伴们告别，独自带着女子出发，而担心他的村民们只好远远地跟在他们身后。
这时，女子突然转过身冷冷一笑，牵起武右卫门的手直接走进了湖中。微醺的武右卫门被女子牵着手，如同在跳舞般跌跌撞撞地行走在水面上。
受了惊的村民们纷纷逃回家中，一夜之间，整个村庄陷入了一片混乱。第二天早上，村民们乘船出发拼命搜寻，却看到了从湖底浮上来的脚趾发白的武右卫门的尸体。
瑟瑟发抖的村民们窃窃私语：
“这一定是加茂湖的主人干的”
这时人们才意识到，那些试图填平湖泊以及利用湖泊满足私欲者的悲惨结果。或许，正是因为有这样的民间传说在人们心中留下了永久的恐惧和敬畏，加茂湖的自然风景才得以保留至今。