岳飞在历史上不仅是抗金救国的英雄，也是一个好丈夫好男儿一生不纳妾。可是尽管这样他的第一次婚姻却遭受了前妻的背叛。
岳飞16岁时与刘氏成婚，生云、雷二子。飞从军抗金，让刘氏照顾母亲，刘氏在岳飞离开后不能忍受清贫的生活，于是选择了改嫁，嫁给了韩世忠军中一押队，后来岳飞在军中屡立战功出名，韩世忠让岳飞来取刘氏，岳飞只“差人送钱五百贯”而已，表示和刘氏已经断绝了关系，成全了她。
岳飞后来在战乱中相识一位女子，也就是他的第二位夫人，她叫李娃，李娃聪颖贤惠，有胆有识。内外才能兼备,，颇有大家风范，是岳飞的贤内助。对岳飞母姚太夫人非常孝敬，深得姚氏欢心；对岳飞前妻刘氏所生岳云、岳雷倍加爱护，胜于已生；并且还协助岳飞做好随军亲属的安抚工作，受到将士们的赞誉。汤阴县志上说她日夜协助岳飞布置军事，安抚家属，“部下军事有谋叛者，李夫人廉得之，不以言，一日会诸将于门，立命捕斩叛者，一军肃然。”夫妻感情非常深厚。这也是岳飞坚持不纳妾的一个重要原因。李娃给岳飞生了三个儿子分别是：岳霖 岳震 岳霆。
岳飞被害后，长子岳云被诬入狱，与父和张宪同时被害，时年23岁。次子岳雷随亲人被遣送至惠州（今属广东省）拘管，还未等到父兄平反，便已在流放地含恨而终。
夫人李娃和其他三个儿子被流放南方，后来岳飞谋反案被平反，李娃回到中原，岳霖 岳震 岳霆因岳飞的功劳分别在朝中做了官。