霍光跟随汉武帝28年深得汉武帝的器重。
汉武帝临死时嘱托他要辅佐幼主汉昭帝，昭帝死后他又改立刘询为汉宣帝，霍光的家族也随之显赫起来。刘询刚继承皇位不久，霍光的妻子为了使家族的地位更加稳固，想把自己的小女儿陈君嫁给刘询做皇后，他买通了御医下毒害死了已被刘询立为皇后的许妃，朝廷将御医逮捕并严加审讯，霍光的妻子怕事情败露才把实情告诉了霍光，霍光不忍心妻子被治罪，思前想后，还是把事情隐瞒了下来。
霍光死后有人把实情告诉了刘询、刘询大怒，霍光的妻子和家人得到消息，非常害怕并决定谋反。朝廷将霍光家族逮捕杀戮，霍光的许多亲戚朋友也受到了牵连被杀。
东汉史学家班固在汉书霍光传中高度赞颂霍光的显赫功勋，同时也批评了他对家族妻子的不加管束，十分中肯的指出他没有学问，不学无术，不明白大道理，以致死后诸灭九族。成语不学无术，由此而来。意思是指没有学问和办事的本领。
用不学无术造句，从他的言行举止，我就知道他是个不学无术，只喜欢吹牛皮的家伙。我们不要做一个不学无术的人，一个人如果不学无术，愚昧无知，就会上当受骗。