元凤元年(公元前80年)八月，上官桀等人让一个冒充是燕王使者的人向朝廷上书，以燕王的名义攻击霍光“专权自恣”，并列举了他的三大罪状：其一，霍光到长安东郊去主持郎官和羽林军的大规模军事演习时，路途中他像皇帝出行时那样的威严，吃饭时让皇帝御膳房为他提前准备饮食。其二，霍光赏罚不公，苏武出使匈奴，被拘留达二十年而不投降，回国以后只是被任用为典属国，而大将军长史杨敞没有任何功劳，却当上了搜粟都尉。其三，霍光擅自调动、增加大将军幕府的校尉，而不报告朝廷。并称燕王怀疑霍光别有企图，表示愿意交出燕王封爵，入宫值宿保护皇帝，防止奸臣作乱。这份奏章是乘霍光休假之机呈送给皇帝的。上官桀打算从宫里把这件事下交给主管官吏查办，桑弘羊负责和各大臣共同胁迫霍光退职。但是燕王书信上奏以后，昭帝并没有向下转发查处。
第二天早上，霍光知道了上书这件事，留在殿前西阁的画室里不肯进殿。昭帝问：“大将军在哪儿？”左将军上官桀说：“因为燕王告发他的罪行，所以不敢进来。”昭帝下诏叫霍光进殿。霍光进殿后，取下头上的冠帽，叩头谢罪。昭帝说：“将军请戴上冠帽吧!朕知道信是假的。将军没有罪。”霍光很惊讶地问道：“陛下怎么知道的呢？”昭帝说：“将军去检阅郎官是近日的事。调校尉以来还不到十天，燕王远在数千里以外，怎么来得及知道呢？况且将军您一定要反，也不会在乎多一个或少一个校尉吧!”这时昭帝才十四岁，却能如此识别贤愚、明辨是非，着实使在场的尚书及其身边的人都感到惊奇不已。这时，那上书的人果然已逃之夭夭了。皇帝命人追捕，上官桀等人害怕机密泄露，于是对昭帝说：“小事不值得穷追不舍。”昭帝坚决不同意。不得已，上官桀派人把上书的人杀了，然后制造假证，说他是畏罪自杀，这件事才算告一段落。
后来，上官桀及其党羽又在昭帝面前攻击、诬陷霍光。昭帝发怒说：“大将军是忠臣，先帝委托他来辅佐朕，敢有诽谤他的，要治罪!”从此以后，上官桀再也不敢说什么了。
上官桀等人见上告的计谋不行，于是密谋叫长公主设酒席请霍光，暗伏兵士，杀掉霍光，乘势废掉昭帝，迎立燕王为天子。长公主家舍人的父亲稻田使者燕仓得知这个密谋，立即告诉他的上司大司农杨敞，杨敞畏事不敢揭发，于是告诉了杜延年，杜延年立即将此密谋报告给霍光。霍光震惊不已，当即采取断然行动。这年九月,上官桀父子、桑弘羊、丁外人等都以谋反罪被处死,并诛灭了他们的宗族。长公主、燕王刘旦都自杀而死。在这次激烈而残酷的权力争夺战中，霍光取得了绝对的胜利,从而也奠定了他更为坚实的政治基础，为日后推行他的政策和主张提供了有效的保障。
霍光、上宫桀与桑弘羊等均为汉武帝所托付的顾命大臣，其中霍光与上官桀还是儿女亲家。按常理，他们应协力同心共同辅佐幼主汉昭帝。
但同僚最终转化为政敌，究其原因仍逃脱不了一个“利”字。霍光坚持原则，不愿利用手中权力为同僚谋私开方便之门，因此遭到他们的怨恨。霍光一方面维护了国家的利益，也为自己树立起一个正直公正的政治形象，这也是他上受君王信任、下得群僚和百姓拥戴的重要原因。但是另一方面，面对政敌的威胁，霍光毫不手软，从而最大限度地稳定了局势。（未完待续）