Wie viele Musiker entstammt auch Vinzenz Goller einer musikalischen Familie. Sein Vater Josef war Volksschullehrer in St. Andrä bei Brixen, Südtirol, und wirkte dort auch als Mesner und Organist. Aber nicht nur dieser Nährboden, sondern auch seine überdurchschnittliche musikalische und pädagogische Begabung waren ausschlaggebend für seinen späteren Berufsweg.
Schon früh engagierte sich Goller als Sänger im örtlichen Kirchenchor. Es dauerte nicht lange, bis er Ersatzorganist wurde. Nebenbei beschäftigte er sich mit Notenschreiben und Transponieren.
Als Sängerknabe und Student kam Goller mit zwölf Jahren in das Augustiner-Chorherrenstift Neustift. Dort wurde sein Talent durch Choral- und Chorsingen, sowie Violin- und Waldhornspiel weiter gefördert. Goller lernte im Stift auch den gleichaltrigen Josef Gasser und Ignaz Mitterer kennen.
Goller begann 1888 mit dem Studium am Lehrerseminar und später an der Städtischen Musikschule (bei Josef Pembaur) in Innsbruck, sowie an der Kirchenmusikschule Regensburg (bei Franz Xaver Haberl und Michael Haller). 1899 heiratete er Maria Josefa Pfeifhofer aus Sexten. Aus dieser Ehe gingen sieben Kinder hervor. Er wurde nach mehrjährigem Schuldienst 1903 Kirchenmusiker in Deggendorf. Nach Abschluss seines Studiums an der Wiener Musikakademie wurde er 1910 mit der Einrichtung der Abteilung für Katholische Kirchenmusik in Wien-Klosterneuburg beauftragt, die er bis 1933 selbst leitete und an der er noch bis 1937 Kontrapunkt und Kirchenkomposition lehrte.
Als Italien im Mai 1915 zu den Alliierten übertrat, meldete sich Goller freiwillig zu den Standschützen und kämpfte an der Dolomitenfront. Als Hauptmann des Sillianer Bataillons gelang ihm am 6. September 1916 die Rückeroberung des Forame-Gipfels in der Cristallogruppe. Dieser Erfolg war der österreichischen Armeeführung so wichtig, dass das Bataillon Sillian, als einziges, ein Marmordenkmal zur Erinnerung an diese Kämpfe erhielt. Dieses befindet sich heute auf dem Marktplatz der Gemeinde.
Nachdem im Frühjahr 1918 die Bataillone Welsberg, Lienz und Sillian zum Standschützenbataillon Pustertal zusammengefasst wurden, ernannte man Goller zum Bataillonskommandanten und im Juni zum Major. Er teilte dasselbe Schicksal wie viele andere Soldaten und geriet im September 1918 in Kriegsgefangenschaft. Goller gelang allerdings die Flucht aus dem Lager in der Nähe von Mantua und setzte sich über wenig begangene Bergpfade in die Schweiz ab. 1919 kehrte er schließlich nach Wien zurück und ging seiner Lehrtätigkeit wieder nach.
Auf Wunsch von Erzherzog Eugen, dem Kommandanten der Südwestfront, komponierte Goller, zur Erinnerung an die Erstürmung des Forame-Gipfels, eine deutsche Singmesse. Diese sollte bei Feldgottesdiensten aufgeführt werden.
Gedenktafel in Klosterneuburg
Goller engagierte sich auch politisch. 1933 wurde er in den Gemeinderat und drei Jahre später zum Bürgermeister von Klosterneuburg gewählt. Als Österreich im Jahr 1938 von den Nationalsozialisten besetzt wurde, enthoben diese Goller seines Amtes. Zwei seiner Kinder schlossen sich dem Widerstand an. 1941 übersiedelte Goller mit seiner Familie nach St. Michael im Lungau. Fünf Jahre später starb seine Frau Maria, worauf er zu seinen Geschwistern nach Südtirol zog. Erst 1950 kehrte er wieder nach Klosterneuburg zurück.
1953 wurde Goller zum Ehrenmitglied der Akademie für Musik und darstellende Kunst in Wien ernannt. Diese Auszeichnung konnte er aber nicht mehr entgegennehmen, da er noch vor der Verleihung an Lungenentzündung starb.