Der Friedhof wurde Anfang des 20. Jahrhunderts zur Entlastung des Südfriedhofs errichtet. Mit der Namensgebung wollte man die Erinnerung an die heilige Gertrud wach halten, deren Verehrung und Kult durch fränkische Siedler nach Halle gebracht wurde. Ihr wurde damals die gleichnamige Kirche auf dem Obermarkt geweiht. Von ihr sind heute lediglich als Bestandteil der an dieser Stelle errichteten Marienkirche Teilstücke erhalten.

Der Gertraudenfriedhof ist mit einer Fläche von 47 ha (nach Erweiterung) und einer Anzahl von ca. 34.600 Grabstellen der größte Friedhof in Halle. Die Gestaltung des Gertraudenfriedhofs erfolgte ab 1912 durch den damaligen Leiter des Stadtbaurates Wilhelm Jost, der zu dieser Zeit seinen Dienst antrat. Als einer der ersten Gestalter der Freiflächen wird Oberinspektor Henry Cyrenius genannt. Am 17. September 1914 fand die erste Beerdigung statt. Die erste Einäscherung im Krematorium von insgesamt drei im Jahr 1915 erfolgte am 23. Dezember 1915.

Heute wird das Krematorium als Flamarium vom Gemeinnützigen Feuerbestattungsverein Halle e. V., der im Jahr 1990 wieder gegründet wurde, betrieben. Außerdem ziert sich der Gertraudenfriedhof mit zahlreichen Brunnenanlagen, wovon zahlreiche kunsthistorisch wertvoll sind. Sie wurden unter anderem von Richard Horn geschaffen. Weiterhin gibt es Gedenkstätten des I. und II. Weltkrieges und Gedenkstätten der vom Nationalsozialismus Gemordeten, der ausländischen Opfer und der sowjetischen Kriegsgefallenen.

Direkt neben dem Gertraudenfriedhof liegt der 1929 geweihte jüdische Friedhof, der als getrennte Anlage errichtet wurde. Zu ihm gehört ein jüdisches Denkmalfeld mit Grabmalen aus dem Mittelalter. Es entstand, als das jüdische Begräbnisfeld an der Stadtgottesackerstraße aufgelöst und die bestehenden Grabmale im neuen jüdischen Friedhof aufgestellt wurden. Heute ist der jüdische Friedhof unter Verwaltung der Jüdischen Gemeinde Halle.