Die Grabengasse geht auf einen Wassergraben zwischen Donau und Inn zurück und folgte dem Zuge des Domfelsens, den dieser Wasserarm umgab.

Er diente zusammen mit einer Wehrmauer, der heute genannten Römerwehr, als Befestigungsgraben vor der ältesten Wehrmauer der Altstadt und wurde 1209 aufgefüllt und in der Folgezeit überbaut.

Sein südlicher Abschnitt ist seit 1318 als Graben oder im Graben belegt.

Die ziemlich einheitliche Bebauung entstand durch den Wiederaufbau nach dem Stadtbrand von 1680. Die Vorschussmauern gleichen drei- und viergeschossige Bauten einander an.

Noch 1827 waren die Gebäude durch Gärten unterbrochen, die im 19. Jahrhundert bebaut wurden. Auf der Südseite der Grabengasse gibt es aber noch immer mehrere Hausgärten.

Am Haus Nr. 1 befindet sich eine Gedenktafel für Wolf Huber, am Haus Nr. 22 („Rosenstängl-Haus“) eine für Gustav Rosenstängl.

Im Haus Nr. 17 betrieb Franz Aichinger früher eine Spenglerei.

Im Jahr 1892 gründete Rudolf I. Guggemos im Haus Nr. 23 das erste Elektrogeschäft in Niederbayern.

Im Haus Nr. 27 hatte Matthias Lechthaler seine Bildhauerwerkstätte.

Im Haus Nr. 21 war in den 1970ern der erste Amateurfunkverein Passaus untergebracht. Die „Funk-Füchse“ residierten dort für knapp zwei Jahre, bevor ein Streit mit dem Vermieter über die überdimensionierte Empfangsantenne eine Verlegung des Clubhauses nach Grubweg erforderlich machte. Der Verein diente Franz Kurowski in den frühen 1980ern als Vorlage für seine Jugendbuchserie „Die Funk-Füchse“, in welcher vier Jugendliche unter der Zuhilfenahme von Sprechfunkgeräten Kriminalfälle lösen.

Seit 1974 ist die Grabengasse Bestandteil der Fußgängerzone. Insgesamt stehen heute 21 Häuser der Gasse unter Denkmalschutz.