常常把霍光常与伊尹并提，称之为“伊霍”，以行“伊霍之事”代指权臣摄政废立帝王。伊尹只是个传说不过，霍光的事却是实实在在的。而且，伊尹也没有废掉太甲，只是让他反思，待他改过自新后，就还大政于他了。清末历史学家蔡东藩就说：光忠厚有余，而才智不足，诚哉其不学无术乎！伊尹能使太甲之悔过，而霍光徒毅然废立，专制成事，其不如伊尹多矣！所以说，霍光才是中国历史上当之无愧的第一权臣。
霍光（约前133年－前68年），霍去病同父异母的弟弟，大概比霍去病小七八岁。公元前141年前后，霍去病的父亲霍仲孺在平阳公主府当差，不小心搞大了公主女仆卫少儿的肚子，却不敢负责，办完差事回老家另外娶了个老婆，几年后生了个儿子，就是霍光。
霍光一生，还是留下很多分歧的地方，最典型的是他辅佐的三位帝王：汉昭帝刘弗陵、汉废帝刘贺、汉宣帝刘询。刘弗陵刚亲政就莫名其妙死了，刘贺则只当了27天皇帝就给废了，剩下一个在民间长大在刘氏宗族里毫无政治根基的刘询，在霍光大权在握时，则完全是一个傀儡。如果刘询也像刘贺那样表现出对权力的极度兴趣，历史是不是又会发生改变呢。因此，霍光是不是忠臣，历史上有争议，但说他是权臣，则是毫无争议的。
霍光像极了卫青，谨言慎行，就连每走一步的长度都是一样的，过门槛，是先迈左脚还是右脚，每次也都是一样的！《汉书》就记载：霍光每次出入殿门，止步、前进都有固定的落脚之处，时间久了，不免引起殿中值班人员的注意，于是有好事者在他日常的止进之处暗中做下记号，到了霍光入殿的时候留心观察，果然丝毫不差。
公元前87年，70岁的汉武帝驾崩，霍光、金日磾、上官桀、桑弘羊四位重臣和8岁的汉昭帝刘弗陵登上历史舞台。
此时，霍光兼领大司马大将军重职，手握军政大权，可谓当之无愧的第一号辅政大臣。而且，霍光与同为辅政大臣的金日磾、上官桀都有联姻。上官桀长子上官安、金日磾次子金赏都是霍光的女婿。
此时的霍光虽掌握着绝对的军政大权，但有此强敌，心中不安是肯定的。话说这一天，上官桀父子联合盖长公主、燕王刘旦、桑弘羊等人，趁霍光休假，以燕王的名义上书昭帝，说霍光正准备造反，最后的政治斗争是霍光将上官桀父子联合盖长公主、燕王刘旦、桑弘羊等以谋反罪全部铲除。
但昭帝的日子却不好过了。他的聪明暴露的太早了。《汉书·外戚传》说：“光欲皇后擅宠有子，帝时体不安，左右及医皆阿意，言宜禁内，虽宫人使令皆为穷绔，多其带，后宫莫有进者。”
翻译就是，霍光只准皇帝和皇后睡，还特意叮嘱让御医对刘弗陵说，皇上啊，您身体弱，一定要少碰女人啊。除了叮嘱，还有行动，那就是强令宫女穿上专门设计的贞操裤，以免皇帝性冲动而宠幸怀孕。外事说不上话，皇宫里也都是霍家的人，甚至连房事都不能自主，刘弗陵的郁闷，可想而知。
权力使人疯狂。霍光虽无皇帝之名，但已行皇帝之实。亲政的刘弗陵与霍光之间的冲突注定难免。于是就在这个时候，刘弗陵挂了！死因是暴病而亡！怎么死的，《剑桥中国史》就质疑说：“年轻的皇帝死时只有21岁，死的可疑；他是否流露出什么迹象，致使霍光或其他人希望把他除掉，则不得而知。”
但昭帝无子，上官皇后成了上官皇太后，时年只有14周岁，成为历史上最年轻的皇太后。更可悲的是，她还成为外祖父霍光手中最好用的一张牌——“挟太后以令天下”！昭帝去了，没有子嗣，谁接班？按理说，最应该是汉武帝唯一还活着的儿子广陵王刘胥。刘胥身材高大，体魄壮健，力能扛鼎，皇家子弟，自小也是博览群书的，很有主张。所以，若刘胥当皇帝，霍光是无法继续掌控局面的。
挑来挑去，霍光选中了18岁的昌邑王刘贺。加上霍光听说刘贺是个花花公子，想必好控制，遂假借上官皇太后之名，懿旨刘贺到长安当皇帝。刘贺风风光光来到长安，霍光显然没料到这刘贺还真把自己当成了皇上，到了京城就夺权，将从昌邑带来的两百多位属官全都升迁，并企图接手兵权。霍光一方面扣下了刘贺旧臣的升迁事宜，仅将长乐卫尉一职交出，使得政令不出未央宫；另一方面便开始谋划废掉刘贺。由此，刘贺成为历史上有名的“昏君”，即位27天，作恶1127余件，平均每天作恶40多件！真正的情况应该是这样的：霍光想继续独揽大权，所以挑中刘贺。可看走了眼，刘贺是个很有想法的家伙。霍光只好栽赃一堆罪名废了他。
如果说昭帝之死，霍光还可以挣脱干系的话，此次废帝则已无法堵住天下悠悠之口。
有刘贺前车之鉴，宣帝刘询还不学聪明？把奏章扔到一边。刘询原名刘病已，汉武帝刘彻曾孙，卫太子刘据之孙，当年卫太子及三个儿子因巫蛊之祸自杀时，刘病已还在襁褓中，但仍被关进监狱里成长。后来卫太子平反，在丙吉等一些大臣的极力斡旋下，才得以出狱，并被写入家谱。即便如此，仍得不到刘氏宗亲抚养，而是寄居在祖母史良娣娘家。
刘贺既废，谁来继位？此时，一直帮助刘病已的丙吉已升为大将军长史、光禄大夫，很受霍光看重，便向一筹莫展的霍光推荐了刘病已。汉武帝刘彻居然还有个土包子曾孙，霍光心里那是个高兴啊，赶紧假借懿旨宣刘病已入朝当皇帝。就这样，时年18岁的平民刘病已一步登天，成为大汉天子，也成为中国历史上唯一一位即位前受过牢狱之灾的皇帝。因“病已”两字太常用，怕臣民避讳不易，即改名刘询。
汉宣帝和许皇后本是青梅竹马，患难之交，霍光的妻子出入皇宫让御医趁皇后分娩时将其毒死，然后列自己的幼女霍成君恩为皇后。
皇帝报仇，十年不晚。在宣帝即位的第七年，也就是公元前68年春三月庚午，霍光病重逝世，时年六十五岁。此时，据其兄霍去病逝世已经50年。霍家的命运已经注定，宣帝以皇帝的级别将霍光葬于茂陵，但霍家人仍显不够，要求坟墓规格再扩大一些。
霍光去世，宣帝即宣布亲政。他做的第一件事，就是逐步剥夺霍家人的权力。将“羽林及两宫卫将屯兵”换成了自己的人。两年后，一切就绪，宣帝突然出手。按正史的记载，是霍家“谋反事败露”，满门抄斩。
霍光死后，宣帝继续发扬霍光既定的国政方针，使大汉重拾辉煌，宣帝也由此成为西汉十四帝中拥有庙号的四位皇帝之一。从这点来看，宣帝无愧“中兴之主”、“一代明君”的称号。
那么，霍光在历史上到底算忠臣还是奸佞？不好说，最好的词还是：权臣！权力这种东西，也是由俭如奢易、由奢入俭难。权力从来是一把双刃剑。正如史书：“霍氏之祸萌于骖乘”，在他威震四海、自以为光宗耀祖之时，已经给霍家埋下了祸根。