奈良时代（710年—784年）编纂的史书《日本书纪》中，记载着以这座岛为舞台的故事。主人公是日本的应神天皇。

日本应神天皇，曾有一次与王妃一同造访濑户内。王妃的故乡，就在这片海的彼岸。不久，王妃要返回故乡，天皇便从高台上目送她的船离去，并吟咏了一首和歌。和歌中出现的，是淡路岛与小豆岛。望着依偎在海中的两座岛屿，天皇将“两座岛总是和睦地并排漂浮着，为何我们却要分离”的这种心情，寄托在了眼前的岛屿上。应神天皇，始终忘不了离去的王妃，后来亲自渡海相寻。相传，他在旅途途中停留的地方，正是这座小豆岛。岛上至今仍各处保留着天皇的足迹传说。他最初登陆的沙滩、种植树木的地方等等。

而相传在那段旅程中到访的，正是耸立于岛中央的溪谷。天皇登上那陡峭的岩山，在山顶为国泰民安而祈祷。向神明祈愿的山，人们很快就将这座山称为“神悬”。这个名字，至今仍以以此为雏形变换出来的名字留存了下来。寒霞溪，汉字虽已改变，其日语发音中仍留存着“神悬”的余韵。

还有一点。这位传说中的应神天皇，死后在日本被作为神明供奉。其神明的名字，了解日本的人也一定听说过“八幡神”。就是全日本有两万多座、遍布各地的八幡神社中供奉的那位神明。而小豆岛上，有着与岛屿规模极不相称的众多八幡神社。原因，想必你已经猜出来了。因为这座岛，被信奉为是八幡神在成为神明之前、曾作为人到访过的地方。

寒霞溪的高峰，为这座岛屿带来了另一份馈赠。就是来自海上的海风。跨过濑户内的风，撞上这座山后，汇成气流倾泻向山麓的城镇。岛民们，将这股风融入了日常生活里。每家庭院中张挂的白色素面帘幕，被风渐渐吹干。穿过酱油作坊窗户的风，会催促酱醪的熟成。山风与岛味，是密不可分的关系。