Das Wappen ist in Siegeln seit der zweiten Hälfte des 14. Jahrhunderts geschichtlich überliefert. Es besteht aus einem von Schwarz und Silber schräg geteilten Schild und hat oben und unten je ein gestieltes Kleeblatt in verwechselbaren Farben.
Die Herrschaft Altmannstein fiel nach dem Aussterben der seit 1120 genannten Herren von Stein 1232 an den verschwägerten Altmann II. von Abensberg, der die Burg erbaute und nach dem der Ort seinen Namen Altmannstein erhielt. Sein Enkel Urlich II. verkaufte die Burg 1291 an Herzog Ludwig von Bayern, den späteren Kaiser Ludwig den Bayern. Aus Geldnot mussten die Wittelsbacher allerdings die Burg an Konrad und Heinrich von Hautzendorf verpfänden, und bereits 1374 konnten die Grafen von Abensberg das Pfandrecht erwerben, sodass sie wiederum Burgherren waren. Mit dem Wiedererwerb von Altmannstein durch die Abensberger fällt die Einführung des Ortswappens zusammen, dessen Farben Schwarz und Silber der Tingierung des schräg geteilten Schildes der Reichsfreiherren von Abensberg entsprechen. Die Herkunft der Kleeblätter ist nicht geklärt.