奈良時代（710年—784年）編纂的史書《日本書紀》中，記載著以這座島為舞臺的故事。主人公是日本的應神天皇。

日本應神天皇，曾有一次與王妃一同造訪瀨戶內。王妃的故鄉，就在這片海的彼岸。不久，王妃要返回故鄉，天皇便從高臺上目送她的船離去，並吟詠了一首和歌。和歌中出現的，是淡路島與小豆島。望著依偎在海中的兩座島嶼，天皇將“兩座島總是和睦地並排漂浮著，為何我們卻要分離”的這種心情，寄託在了眼前的島嶼上。應神天皇，始終忘不了離去的王妃，後來親自渡海相尋。相傳，他在旅途途中停留的地方，正是這座小豆島。島上至今仍各處保留著天皇的足跡傳說。他最初登陸的沙灘、種植樹木的地方等等。

而相傳在那段旅程中到訪的，正是聳立於島中央的溪穀。天皇登上那陡峭的岩山，在山頂為國泰民安而祈禱。向神明祈願的山，人們很快就將這座山稱為“神懸”。這個名字，至今仍以以此為雛形變換出來的名字留存了下來。寒霞溪，漢字雖已改變，其日語發音中仍留存著“神懸”的餘韻。

還有一點。這位傳說中的應神天皇，死後在日本被作為神明供奉。其神明的名字，瞭解日本的人也一定聽說過“八幡神”。就是全日本有兩萬多座、遍佈各地的八幡神社中供奉的那位神明。而小豆島上，有著與島嶼規模極不相稱的眾多八幡神社。原因，想必你已經猜出來了。因為這座島，被信奉為是八幡神在成為神明之前、曾作為人到訪過的地方。

寒霞溪的高峰，為這座島嶼帶來了另一份饋贈。就是來自海上的海風。跨過瀨戶內的風，撞上這座山后，匯成氣流傾瀉向山麓的城鎮。島民們，將這股風融入了日常生活裡。每家庭院中張掛的白色素面簾幕，被風漸漸吹幹。穿過醬油作坊窗戶的風，會催促醬醪的熟成。山風與島味，是密不可分的關係。