玄言诗，作为中国历史上长期存在并且至今依存的诗歌样式，也和其他诗歌一样经历了兴与落的过程。起于西晋之末兴于东晋，没落是时代的必然。
玄言诗是老庄思想与佛教思想的联合，以老庄思想为主，以佛教思想为辅，谈玄论虚的诗歌。其源头在玄学，其发展在魏晋清谈风气的涌动。是建安风骨，流于正始诗歌后的一种虚诞。企图通过谈玄论虚，找出、点出人世大道，令谈论者获得某种心灵的超脱。特别是东晋时代，更因玄学的盛行，使佛教徒附会玄学欲使玄佛结合，许多佛教徒都用诗歌的形式来表达自己对玄理的领悟。《文心雕龙·时序》篇说：“自中朝贵玄，江左称盛。因谈馀气，流成文体。”玄言诗的盛行是东晋诗坛最为典型的特征。所谓玄言诗就是用诗歌的形式阐释玄学，语言枯燥乏味。玄学内部有许多的派别，如贵无派、崇有派、独化派等等，这些派别的影响使佛教内部发生分化，东晋时期，佛教内部因对般若思想理解不同而出现了所谓“六家七宗”的争论。东晋时，玄学家虽然精通佛教，却不在注老庄列中运用佛教理论。南北朝道教也开始大量吸收老庄玄学理论构建神学。玄学衰落后分别被道教，般若，理学、禅宗所继承。这个诗派的出现，虽反映了魏晋玄学对文学的影响。后来东晋的文学家如《文选》等都极力避开玄言诗。
其代表人物往往也是魏晋名士。代表人物为孙绰和许询。但魏晋名士不都是玄言诗的拥护者或强力创作者。如王羲之，虽也写玄言诗，但他的重点不在于论玄，而是在于利用玄言诗，谈论某种哲学观点。其玄言诗流传不多，而其为玄言诗创作大会“兰亭诗”写就的《兰亭集序》无论是书法高度还是文学高度，都达到流芳百世之效果。
玄学清谈与文学自觉使得玄言诗的兴起，同时玄言诗兴盛与东晋，一方面是魏晋玄学及清谈之风兴盛的结果，另一方面也与东晋政局及由此而形成的士人心态有关。玄学，是包含老庄哲学，参杂佛教学说的一种全新学说。所谓清谈之风，则强调坐而论道。以佛家辩论的方式，不断对某个观点、事件进行评论分析。强调辩驳、分析得准确透彻，但又不带烟火气息。某些清谈家，能不断破而立，立而破。甚至对自己刚刚建立的理论，立即破除。不断反转。形成一种言语表达上的高明。谈玄以口，玄言诗以文。口之既久，文之自成。口头文学往书面文学的转化，是一个相对自然的过程。此所谓魏晋玄学和清谈之风的结果。玄言诗的发展，是近体诗的一个预备体。在玄言诗歌中孕育了理趣、孕育了山水田园、孕育了超拔与归隐。当这个混乱无比的时期过去，理趣在宋代得到充分发展，如理学大家杨万里、朱熹大有趣味诗歌；山水田园诗在不久后就经过陶渊明、谢灵运等人的生花妙笔走上历史舞台而高出时代。至于超拔和归隐的状态，则成为历朝历代，吟咏不尽的主题。玄言诗，是诗歌本身发展到这个阶段，根据当时情境，呈现了独特诗歌样式，这是时代发展必然的形成。
玄言诗的没落是时代必然，毋庸置疑，即使它只是一个过渡期间的诗歌样式，但同样也拥有自身的生命轨迹。“朝菌不知晦朔，蟪蛄不知春秋。”但晦朔、春秋就是他们“漫长”的一生，他们都有兴起，自然也就有没落。而没落，往往也是因为之前兴起的条件开始消退。谈玄务虚，无益于实务。消极避世，最多是掩耳盗铃。玄学的没落，是它注定的命运。乱世需要被完结，文化也需要得到整理，务实的工作才能让事业得以发展。因此，无论是玄学还是与之对应的清谈，都必将走向没落。建安风骨，虽然经历正始文学、太康文学的颓废，但无论在哪个时期，都会有人承扬建安的慷慨昂扬。当时代需要而迎合时代，刚劲之风逐渐走上舞台。时代依旧混乱，士人依旧痛苦。但在时代的考验打击下，竟有了更强的抗压能力。力量在积累，思想在锻炼。呈现在文学上，自然会有更多表现。而文学本身的发展，也同样在突破这固有的藩篱，呈现出新的、更多的形貌。
玄言诗自身的成就并不高，但从文学史的角度来说，它对诗歌的发展也起到了独到的影响。玄言诗人都深受道家思想的影响，崇尚自然，他们从山上中体味道的玄妙，因此诗中出现了不少描写山水的诗句，这对山水诗的形成至关重要。但了解其作为一个过渡期间的产物，应该认识到其毕竟在东晋百年见占据了主导地位，是中国文学史中不可忽视的一部分。如果直接弃之不顾，不予理睬，便不能充分理解永明体乃至隋唐诗歌。看似小丑，同样是有着自己的独特生命的。如果将诗歌整个当做一个生命，玄言诗也是这个生命经历的重要组成部分。玄言诗是说理诗的尝试，开拓了古代诗歌的表现领域，同时为后来的新型诗歌创作提供了创作经验。