有一天，一只凤凰飞进了这里，留下了羽毛后又飞走了。当把羽毛献给天皇时，认为这是和平的象征的天皇非常高兴，下令请著名的僧侣行基为此建造一座寺庙。羽贺寺这个名字的由来就是从“喜获羽毛”而来。
羽贺寺的重要文化财产、十一面观音像的右手特别长，伸出来的手仿佛是想要拯救那些所有需要帮助的人一般。与多田寺素朴的佛像相比这里的观音像更加优雅，能感受到清少纳言以及紫式部活跃的平安时代的祥和之气。
不过，再次关注一下，十一面观音背面的药师如来吧。为什么若狭的寺庙里有这么多药师如来像呢？若狭彦神社、神宫寺、国分寺、多田寺里都供奉着药师如来。试想一下，那是一个生了病别无选择，只能祈祷的年代。作为一个掌管食物的御食国，作为一个送长生不老水的圣地，也许若狭的人们非常需要药师如来的降临。
这个药师如来像，最初是供奉在港口城市西津的。但是，在明治时代的废佛毁释运动之际，被搬到了羽贺寺并受到了很好的保护。日本的寺庙因政府打压佛教的运动而遭到了毁灭性的破坏，但在宗教信仰深刻的若狭，不仅逃脱了被毁的厄运，还以这种方式被转移到其他寺庙保护了起来。这也是若狭能保留住这么多宝藏的原因之一。
西津位于山脚下。这是一个港口城市，因北前船的贸易而繁荣，与日本的东北地区有着深厚的联系。据说，在西津流行的若狭涂料与津轻涂料有很多共同之处。羽贺寺的正殿是在室町时代重建的，据说还是在日本东北人民的捐赠下完成的。