關於加茂湖，流傳著一個傳說。
很久以前，加茂村裡住著叫武右衛門的富翁。他貪婪成性，還經常念叨：“我要填平這個湖，成為佐渡的首富。”
一天晚上，武右衛門辦完事回村的途中，遇見了一位年輕女子。月光下，女子的身影美得如同仙女般曼妙無比，男人只看了一眼就對女子一見傾心。武右衛門與同伴們告別，獨自帶著女子出發，而擔心他的村民們只好遠遠地跟在他們身後。
這時，女子突然轉過身冷冷一笑，牽起武右衛門的手直接走進了湖中。微醺的武右衛門被女子牽著手，如同在跳舞般跌跌撞撞地行走在水面上。
受了驚的村民們紛紛逃回家中，一夜之間，整個村莊陷入了一片混亂。第二天早上，村民們乘船出發拼命搜尋，卻看到了從湖底浮上來的腳趾發白的武右衛門的屍體。
瑟瑟發抖的村民們竊竊私語：
“這一定是加茂湖的主人幹的”
這時人們才意識到，那些試圖填平湖泊以及利用湖泊滿足私欲者的悲慘結果。或許，正是因為有這樣的民間傳說在人們心中留下了永久的恐懼和敬畏，加茂湖的自然風景才得以保留至今。