嵩阳书院是古代高等学府，是中国四大书院之一。嵩阳书院建制古朴雅致，中轴线上的主要建筑有五进，廊庑俱全。嵩阳书院因其独特的儒学教育建筑性质，被称为研究中国古代书院建筑、教育制度以及儒家文化的“标本”。
书院是中国封建社会特有的一种教育组织，在中国古代教育史上占有重要而又独特的地位，具有举足轻重的影响。嵩阳书院是中国古代四大书院之一，是书院中的佼佼者，对传播中华民族传统文化和培养造就人才发挥了重要的教育作用。
历史上嵩阳书院以理学著称于世，以文化赡富，文物奇特名扬古今。嵩山地区自古就是儒家学派活动的重要地区，这里有嵩阳书院、颍谷书院、少室书院、南城书院、存古书院，其中最显赫的为嵩阳书院。“书院嵩高景最清，石幢犹记故宫名。山色溪声留宿雨，菊香竹韵喜新晴。初来岂得无言别，汉柏阴中句偶成。”
嵩阳书院在历史上曾是佛教、道教场所，但时间最长最有名气的是作为儒教圣地。嵩阳书院初建于北魏太和八年（公元484年），名为嵩阳寺，为佛教活动场所，僧待多达数百人。
隋大业年间（605—618年），更名为嵩阳观，为道教活动场所。
唐弘道元年（公元683年）高宗李治游嵩山时，闭为行宫，名曰“奉天宫”。
五代后周时（公元951-960年），改为太乙书院。
宋景祐二年（公元1035年），名为嵩阳书院，此后一直是历代名人讲授经典的教育场所。
宋初，国内太平，文风四起，儒生经五代久乱之后，都喜欢在山林中找个安静的地方聚众讲学。登封是尧、舜、禹、周公等曾经居住过的地方。据记载，先后在嵩阳书院讲学的有范仲淹、司马光、程颢、程颐、杨时、朱熹、李纲、范纯仁等二十四人，司马光的巨著《资治通鉴》第9卷至21卷就是在嵩阳书院和崇福宫完成的。号称“二程”的程颐、程颢在嵩阳书院讲学10余年。名儒景冬，曾就读于嵩阳书院，中进士后，曾九任御史。从此嵩阳书院成为北宋影响最大的书院之一。[1] 嵩阳书院是宋代理学的发源地之一，宋代理学的“洛学”创世人程颢、程颐兄弟，司马光、范仲淹曾在嵩阳书院讲学，且司马光巨著《资治通鉴》的一部分是在嵩阳书院撰写。明末书院毁于兵火，历经元、明、清各代重修增建，鼎盛时期，学田1750多亩，生徒达数百人，藏书达2000多册如《朱子全书》、《性理精义》、《日讲四书》九经等。清代末年，废除科举制度，设立学堂，经历千余年的书院教育走完了科举历程。但是书院作为中国古代教育史上一颗璀璨的明珠，永远载入史册。康熙辛卯年，全省在开封选拔举人，录取名额一县不足一人，但登封就中了五个。清高宗弘历于乾隆十五年（公元1750年）十月一日游嵩阳书院时曾赋诗以赞。
嵩阳书院经历代多次增建修补，书院内建筑布局保持着清代前的风格，现存殿堂廊房五百余间，由五进院落组成，院中有先贤祠、先师殿、三贤祠、丽泽堂、藏书楼、道统祠、博约斋、敬文斋、三益斋等建筑。首为先师祠，供奉与书院有关的先师先贤，其后为讲堂，讲堂后为道统祠，最后是藏书楼。两侧配房原为“程朱祠”、书舍、学斋等。院内廊房墙壁上镶嵌有历代文人墨客题字，其内容书法各具特色。西偏院有清代嵩阳书院教学考场部分建筑。
1936年9月，蒋介石先生赴洛阳做五十寿辰之先，来到嵩山游览，随行商震、张静愚、钱大钧等人。游嵩阳书院时，见此处群山环绕，环境幽静，唯近处山野水源缺乏，当即命河南省建设厅长张静愚调机井队，在嵩阳书院内凿一眼百米深井，名为蒋公井。这是嵩山有史以来的第一眼深机井，现存完好。
1961年中华人民共和国国务院列为中国重点文物保护单位。
2006年12月5日，嵩山古建筑群，包括嵩阳书院作为河南省唯一一处独立项目被国家文物局列入中国世界文化遗产预备名单。
2009年，古老的嵩阳书院再放华彩，成立郑州大学嵩阳书院，为传承中华民族优秀的国学文化做出新的贡献。
2010年3月9日，嵩山历史建筑群是2010年国务院确定的中国唯一世界文化遗产申报项目。
2010年8月1日，嵩阳书院作为“登封‘天地之中’历史建筑群”的子项目，被联合国教科文组织正式列入世界文化遗产名录。