Vom ehemaligen Wohnbau sind nur noch Reste vorhanden. Etwas unterhalb der eigentlichen Burg schließt sich der spätmittelalterliche so genannte Hungerturm an, der mit den teilweise erhaltenen Schenkelmauern die Burg mit der Marktbefestigung verband.
Die Herrschaft Altmannstein fiel nach dem Aussterben der seit 1108 genannten Herren von Stein 1232 an den verschwägerten Altmann II. von Abensberg, der die Burg erbaute und nach dem der Ort seinen Namen „Altmannstein“ erhielt. Sein Enkel Ulrich II. verkaufte die Burg 1291 an Herzog Ludwig von Bayern, den späteren Kaiser Ludwig den Bayern. Aus Geldnot mussten die Wittelsbacher allerdings 1340 die Burg an Konrad und Heinrich von Hautzendorf verpfänden, und bereits 1374 konnten die Grafen von Abensberg das Pfandrecht erwerben, so dass sie wiederum Burgherren waren.
Im Rahmen eines Rachezuges gegen Raubritter, mit denen es Johann von Abensberg hielt, nahmen die Nürnberger 1446 die Burg ein und plünderten sie. Als 1485 der letzte Babone, Niklas von Abensberg und Altmannstein, von Herzog Christoph überfallen und von seinem Prunner Burgnachbarn Seitz dem Fraunberger niedergemacht wurde, fiel Altmannstein endgültig an Bayern. 1632/33 wurde der Markt von den Schweden in Brand gesteckt und die Burg zerstört. Die Burgruine mit dem 1911 neu errichteten Wohnbau mit Treppengiebel kam 1918 in den Besitz der Familie von Ziegler. 1991 wurde sie schließlich vom Markt Altmannstein erworben.
