有一天，一隻鳳凰飛進了這裡，留下了羽毛後又飛走了。當把羽毛獻給天皇時，認為這是和平的象徵的天皇非常高興，下令請著名的僧侶行基為此建造一座寺廟。羽賀寺這個名字的由來就是從“喜獲羽毛”而來。
羽賀寺的重要文化財產、十一面觀音像的右手特別長，伸出來的手仿佛是想要拯救那些所有需要幫助的人一般。與多田寺素樸的佛像相比這裡的觀音像更加優雅，能感受到清少納言以及紫式部活躍的平安時代的祥和之氣。
不過，再次關注一下，十一面觀音背面的藥師如來吧。為什麼若狹的寺廟裡有這麼多藥師如來像呢？若狹彥神社、神宮寺、國分寺、多田寺裡都供奉著藥師如來。試想一下，那是一個生了病別無選擇，只能祈禱的年代。作為一個掌管食物的御食國，作為一個送長生不老水的聖地，也許若狹的人們非常需要藥師如來的降臨。
這個藥師如來像，最初是供奉在港口城市西津的。但是，在明治時代的廢佛毀釋運動之際，被搬到了羽賀寺並受到了很好的保護。日本的寺廟因政府打壓佛教的運動而遭到了毀滅性的破壞，但在宗教信仰深刻的若狹，不僅逃脫了被毀的厄運，還以這種方式被轉移到其他寺廟保護了起來。這也是若狹能保留住這麼多寶藏的原因之一。
西津位於山腳下。這是一個港口城市，因北前船的貿易而繁榮，與日本的東北地區有著深厚的聯繫。據說，在西津流行的若狹塗料與津輕塗料有很多共同之處。羽賀寺的正殿是在室町時代重建的，據說還是在日本東北人民的捐贈下完成的。