Heinrich von Herzogenberg wurde am 10. Juni 1843 in Graz geboren. Er studierte am Wiener Konservatorium bei Otto Dessoff Komposition und gleichzeitig Rechtswissenschaften an der Universität. Nach dem Studium lebte er als freischaffender Künstler in Graz. Seine Werke dieser Zeit sind stilistisch von Schumann, Brahms und auch von Wagner beeinflusst. 1871 siedelte Herzogenberg nach Leipzig über. Hier machte er die Bekanntschaft mit dem Bachbiographen Philipp Spitta, die im folgenden zu einer außergewöhnlich intensiven Freundschaft führte. 1874 gründeten Herzogenberg und Spitta den "Bachverein zu Leipzig", einen gemischten Chor, der sich vor allem der Aufführung Bachscher Kantaten widmete. Unter Herzogenbergs musikalischer Leitung gewann der Bachverein herausragende Bedeutung für die Bachrezeption des 19. Jahrhunderts.
Die verstärkte Auseinandersetzung mit dem Schaffen von Bach und Brahms führte um 1875 zu einer Stilwende in Herzogenbergs eigenen Kompositionen. Wagners Einfluss wurde nivelliert und von einer Ausrichtung an klassischen Vorbildern abgelöst. Eine Professur für Komposition an der Hochschule für Musik in Berlin reihte Herzogenberg 1885 endgültig in den Kreis der konservativen "Berliner Akademiker" ein. Seine offen eingestandene, zur Devotion neigende Orientierung an Brahms brachte ihm noch zu Lebzeiten das negativ behaftete Beiwort "Brahms-Epigone" ein. 1894 wurde der Katholik Herzogenberg durch den evangelischen Theologen Friedrich Spitta für die Mitarbeit bei dessen kirchenmusikalischen Reformbestrebungen gewonnen. Musik für den evangelischen Gottesdienst wurde zum Schwerpunkt dieser Periode, die als die bedeutendste im Schaffen des Komponisten angesehen werden kann. Herzogenberg starb am 9. Oktober 1900 in Wiesbaden.