北宋建隆年间，沙门岛（今庙岛）是朝廷囚禁犯人的地方，从建隆三年开始，凡军人犯了法，都发配沙门岛。这样年复一年，岛上犯人越来越多。但朝廷每年只拨给全岛三百人的口粮，所以粮食越来越不够吃。
后来，沙门岛看守头目李庆便想了个狠毒办法：当犯人超过三百时，便将其中一些捆住手脚，扔进海里淹死，使岛上犯人总是保持在三百人内，如此被杀的，两年内就达七百余人，为了活命，犯人们经常跳海凫水逃命，但绝大部分都被激浪吞没，一次，有五十多名囚犯得到即将被杀的消息，便趁着天晴月朗，避开看守，抱着葫芦、木头等轻浮的物体跳入海中，往蓬莱山方向游去。从沙门岛到蓬莱约三十里之遥，途中多数犯人因体力不支淹死水中，只剩下八名身怀武功、体格健壮的七男一女八位善游者，借着水流游到了岸边，在蓬莱城北丹崖山下的狮子洞内躲了起来。
第二天，渔民发现了他们，当闻知八人从沙门岛游水越海而来，无不惊奇万分，把他们称作“神人”，此事便在民间传开了，并且越传越神，他们被传称为“八仙”，他们用来渡海的物品也被传为他们各自的法器，他们渡海逃狱的故事演变成今天的“八仙过海”。