Aus ärmlichen Verhältnissen stammend erblickte Franz Xaver am 25. November 1787 als Sohn einer Leinweberfamilie in Hochburg in Oberösterreich das Licht der Welt. Wie der Vater sollte auch der Sohn den Beruf eines Webers erlernen.



Dem Lehrer gelang es jedoch den Vater davon zu überzeugen, daß sein Sohn sehr begabt ist und man diese Begabung nicht im Weberberuf verkümmern lassen sollte. So bekam Gruber von diesem Lehrer seine ersten Musikstunden.



Nach Vervollkommung seiner musikalischen Ausbildung in Burghausen und dem Abschluß seiner Lehrerausbildung wurde er im Jahre 1807 zum Lehrer in Arnsdorf bestellt. In Arnsdorf war Gruber bis 1829 als Lehrer und Organist tätig.



Nebenbei versah er in der Zeit von 1816 - 1829 den Organistendienst in der Pfarre Oberndorf. 1833 wurde Gruber nahegelegt, sich um die Stelle eines Chorregenten und Organisten an der Stadtpfarrkirche in Hallein zu bewerben. Diese Stelle wurde ihm zugesprochen und er trat seinen Dienst in Hallein im Jahr 1835 an.



Wenn er sich auch schwer von seinem Lehrberuf trennte, so war er doch glücklich in Zukunft nur mehr seiner größten Liebe, der Musik, leben zu dürfen. Nach 28jähriger Tätigkeit starb Gruber am 7. Juni 1863. Dem angesehenen Mann wurde direkt neben seiner Wirkungsstätte ein Ehrengrab errichtet.