Das Landgericht Mainz findet seine Wurzeln im früheren Kurfürstlichen Hofgericht (vor 1793). Nach Inkrafttreten des Gerichtsverfassungsgesetzes vom 21.7.1877 wurde durch Verordnung des Großherzogs Ludwig IV. von Rheinhessen/Darmstadt vom 30. Mai 1879 mit dem 1.Oktober 1879 das seitherige Ober-, Bezirks- und Handelsgericht in Mainz aufgehoben und das ("große") Landgericht für die Provinz Rheinhessen eingerichtet.

Sitz des Landgerichts war der seinerzeit als Justizpalast bezeichnete Dalbergerhof in der Klarastraße. In der Folgezeit führten steigender Geschäftsanfall und Personalvermehrung zu extremer Raumnot. Im Jahre 1903 beschloss das Großherzogliche Ministerium der Justiz in Darmstadt ein "Preisausschreiben zur Erlangung von Entwürfen für den Bau eines neuen Justizgebäudes mit Provinzial-Arresthaus". Das Ausschreiben war an die ausdrückliche Vorschrift gebunden: "Das Bauwerk soll einen würdigen Bestandteil in dem von der Stadt Mainz eingeleiteten monumentalen Ausbau des Schlossplatzes bilden." Im Dezember 1903 lagen die Entwürfe vor. Der erste Preis fiel auf den Entwurf des Stuttgarter Architekten Prof. Paul Bonatz. Die Plastiken an der Außenfassade, die leider nur noch teilweise vorhanden sind, stammen von Prof. Jobst, Darmstadt. Das Gebäude wurde am 8.Juli 1910 seiner Bestimmung übergeben und soll nach zeitgenössischen Darstellungen ein beeindruckender Bau gewesen sein. Der "Neueste Mainzer Anzeiger" vom 9.Juli 1910 schwärmt geradezu "... wurden wir durch die innere Einrichtung und ihre gediegene und dabei einfache und doch schöne Ausstattung wahrhaft überrascht." Das Gebäude beherbergte das Landgericht, das Amtsgericht und die Staatsanwaltschaft. Im Verlauf des zweiten Weltkriegs wurde das Gebäude mehrfach stark beschädigt, der zur Peterskirche gelegene Schwurgerichtsflügel ist nach Kriegsende bei der Detonation eines Blindgängers eingestürzt. Bis 1956 wurde das Gebäude in seiner jetzigen (vereinfachten) Form wieder aufgebaut.

Im Dezember 2005 wurden die Arbeiten zur Sanierung der Dächer und Fassaden beendet, die Sanierung der Treppenhäuser und Flure wurde im Februar 2006 abgeschlossen. Das Gebäude ist jetzt auch barrierefrei erschlossen, die geltenden Brandschutzbestimmungen zum Schutz der Besucher und Bediensteten sind erfüllt, die WC-Anlagen auf dem neusten Stand. Bei der Sanierung wurde die Chance genutzt , die "Bausünden" der Nachkriegszeit zu beseitigen und die ursprüngliche Erhabenheit des "Justizpalastes" wieder zur Geltung zu bringen, ohne allerdings die Bedürfnisse des Landgerichts und eines modernen Büroalltages zu vernachlässigen. Nach Abschluss der Sanierung der Dächer und Fassaden und Beendigung der Innensanierung finden Mitarbeiter und Besucher ein einladendes und freundliches Dienstgebäude vor.

Heute sind in dem Gebäude das Landgericht Mainz, Teile des Amtsgerichts Mainz , die Sitzungssäle für Amtsgericht und Landgericht und das Ministerium der Justiz Rheinland-Pfalz untergebracht. Teile des Amtsgerichts, die Staatsanwaltschaft und das Verwaltungsgericht befinden sich heute in den benachbarten Gebäuden Ernst-Ludwig-Straße 7 - 9.