关于烂柯山的传说由来已久，而且众说不一。最早有文字记载是晋朝中期（公元345年－356年）虞喜的《志林》。南朝梁代人任昉《述异记》中云：“信安郡石室山(在浙江省衢县南)，晋时王质伐木至，见童子数人，棋而歌，质因所之。童子以一物与质，如枣核，质含之，不觉饥。俄顷，童子曰：‘何不去?’质起，视斧柯尽烂。既归，无复时人。”之后北魏郦道元所著《水经注》亦有记载。
位于河南省安阳县西部的许家沟乡北庄村南有座山叫作“二龙山”，相传也叫“烂柯山”，又名“棋盘山”。许是为了纪念王质，后人山腰筑垣，建二龙山古庙。
两重院落，由山门、菩萨殿、奶奶庙、禅堂、药王楼、齐天大圣洞、老君洞等组成。绝壁下一天然石洞，面阔3米，洞深2.5米，于内雕出二仙对弈，中间雕一棋盘，旁有王质观阵，并将此洞称为棋盘洞。“洞外分外妖娆，洞内别有洞天。”有诗为证：“王质去求仙，丹城入九天。洞中七八日，世上已千年。”
古庙创建年代不详。据碑刻所载，明隆庆六年(1572年)重修，清代、民国皆有重修。庙内现存明清刻石8块，碑文记载了庙宇修建、王质成仙传说等其庙宇房顶大多毁纪。下面是近年的一些功德碑。
近几十年，经过修缮与重建，“烂柯山”生机盎然，慕名前来的香客与善男信女以及游人络绎不绝。更增加了摩崖石刻。
烂柯山传说至今无一定论，但是据文献考证，分析判断较为符合和接近该传说首选浙江衢州的烂柯山，此外有河南洛阳新安、广东肇庆高要的烂柯山和山西陵川的棋子山。另外，山西武乡、陕西洛川、四川西昌、江苏虞县的烂柯山，以及成都烂柴山、山东莱芜的棋山、福建武夷山的弈仙台也均有流传。