在佐渡，从古时候开始就能捡到砂金，但随着黄金的价值高涨，加上发现金矿后开始挖掘和开采，到了江户时代，成为了江户幕府直接管辖的重要岛屿。行政中心就是这里相川。
在发现金矿之前，相川只是一个由10多个村庄组成的小渔村。金矿让这里转变为一个拥有50,000人的大都市。说到50,000人，这是如今佐渡的总人口数，与当时江户的人口密度相当。其中，除了来挖金子的人之外，还有提供周边生活服务的人们聚集在一起的结果。自然地，作为佐渡中心的政府办公厅=奉行所也设在了相川。
然而，挖金子是一项非常艰苦的劳作。其中，有一个被称为“无宿者”的群体。他们是一群无家可归的人，是被赶出了村子后逃亡到江户的群体。江户幕府担心他们会犯罪，因此将他们送到了需要劳力的佐渡金矿。他们的主要工作是，在金矿中挖掘岩石时提取涌出的地下水。在没有电动泵的时代，他们就是人力泵。据说，工作分为三班倒24小时不间断进行，大多数无宿者都死在了黑暗的坑里。艺人巡演的“渡佐回”这个词的意思其实是指“佐渡回”，回在日文里有巡回的意思。有人说，渡佐是佐渡的倒置隐语，这让人感到压抑。