Die Herren von Hexenagger, die von 982 bis 1480 nachgewiesen sind, waren die Erbauer der Burg. Durch die Heirat der Witwe von Johann von Hexenagger mit Graf Jörg von Helfenstein kam diese Familie in den Besitz von Hexenagger. Diese veräußerte 1528 Hexenagger an Herzog Wilhelm von Bayern, der den Pfleger zu Dietfurt und Altmannstein, Erhardt von Muggenthal belehnte.
Nach der Zerstörung der Burg im Dreißigjährigen Krieg bauten die Muggenthaler 1625/29 Schlosskapelle und Turm wieder auf. Als 1724 die Linie Hexenagger der Muggenthaler ausstarb, verkauften die Erben Hexenagger an den bayerischen Kurfürsten Karl Albrecht, der das Schloss 1731 seiner Geliebten Maria Josepha Gräfin von Morawitzky schenkte. 1738 kam der Besitz an ihren Gemahl Fürst Portia und nach dessen Tod 1754 an Anton von Kayserstein, der einen neuen Schlossflügel anbauen ließ. Von 1830 bis 1951 waren die Edlen von Weidenbach Herren auf Schloss Hexenagger, jetzt gehört das Schloss der Familie Leichtfuß.