“源氏殺來了！好多的兵！”

平家以屋島為基地的生活也過了一年半。在這期間他們建造了安德天皇的皇居，並且嚴防死守著來之不易的棲身之處。不過，在那一天所有的人都震驚了。原本應該被大風暴阻擋在大阪港的源氏軍隊出現了。當時，人們看到了大量的火手在對岸升起。震驚之餘人們都在猜測如此龐大的軍隊是如何悄無聲息地接近的？

看到這般陣勢，平家匆匆忙忙再次準備逃跑。當平家帶著安德天皇登上船後突然發現，屋島上的源氏軍人數遠比想像的少。認為可以拼死一戰的話還有勝算的平家軍原路返回到了皇居內。不過，這時為時已晚。皇居不僅被人點了火，火焰已經開始蔓延到了整個建築。

據稱，如今的安德天皇社就是當時的皇居所在地。

此時，安德天皇只有六歲。即使他還是個孩子，也是位正統的天皇。如果按照天皇所居住的地方為首都的話，那麼在當時可以說京都的平安時代已經結束，當時是屬於屋島時代的開始。

為什麼平家會選擇屋島作為基地呢？雖然有各種說法，但當時的屋島並沒有與四國地區陸路接壤，而是被大海隔開的小島，是一個非常合適的堡壘。利用屋島的這個特點，平家為了對付源氏軍在島北部的入海口部署了軍隊。他們認為源氏一定會從北方進攻。然而，與預期相反，戰鬥之火是在島的南部展開的。仿佛是大軍壓境的巨大火勢下，慌張的平家做出了錯誤的判斷。

他們當時並不知道，這是源氏的大將·源義經的智謀。