霍光雖然是霍去病的弟弟，但並非衛氏家族的成員，霍去病早死，霍光受霍氏家族排斥，非常孤立。幸好霍去病生前推薦霍光在宮中任侍從，霍光在武帝身邊當差，小心謹慎，二十多年從未犯過失，升任奉車都尉、光祿大夫等職位，深得武帝信任。他在武帝最後幾年侍奉武帝左右，與上司太僕上官桀、武帝近身侍衛金日磾(音金密低)等宮廷人員關係密切。

據史書記述，漢武帝後元二年，即公元前87年，農曆二月十四日，在長安以西的離宮五柞宮駕崩，終年七十一歲，在位五十四年。駕崩前兩日，立年僅八歲的幼子劉弗陵為皇太子，遺詔以侍中．奉車...