1160 wurde die Burg als Landesburg unter Erzbischof Christian I. von Buch erbaut und ab 1191 von Burgmannen besetzt, die sich dann „von Scharfenstein“ nannten. Das bekannteste von hier entstammende Geschlecht sind die Kratz von Scharfenstein. Die Burg war im 13. Jahrhundert mehrfach erzbischöfliche Residenz. Seit dem 14. Jahrhundert führen die Kiedricher den Turm der Burg in ihrem Wappen.

Von der ehemaligen Burganlage ist heute noch der 28 Meter hohe Bergfried mit einem Durchmesser in der Basis von 9 m sehr gut erhalten. Im unteren Teil befindet sich das Burgverlies. Der Hocheingang befindet sich in einer Höhe von 7,60 m und war ursprünglich über eine Zugbrücke oder Leiter zu erreichen. Heute ist er über eine moderne Metall-Außentreppe zugänglich.[2] Über drei Etagen führen im Inneren der 3 m starken Mauer Steintreppen zur ehemaligen Wehrplatte,[3] die als Aussichtsplattform dient.