Martinis Eltern waren der Schullehrer und Organist Andreas Martin und dessen Frau Barbara, die starb, als Johann 6 Jahre alt war. Der Sohn kam zunächst auf das Jesuiten-Seminar nach Neuburg a.d.Donau, wo er bereits mit 11 Jahren als Organist tätig war. Danach zog er nach Freiburg im Breisgau, um Philosophie zu studieren, doch brach er diese Studium bald ab, da er sich mehr der Musik verbunden fühlte. 1760 kam er ins lothringische Nancy, wo er den Namen Martini il Tedesco annahm und 1764 Marguerite Camelot heiratete, die ebenfalls einer Organistenfamilie entstammte. Seine größten Erfolge erzielte Martini nach seinem Umzug nach Paris, wo er vor allem Opern und Marschmusik komponierte. 1788 wurde er als Surintendant de la musique du roi Hofmusiker mit Zuständigkeit für Kirchenmusik und zugleich Intendant der wichtigsten Pariser Bühnen. Mit Ausbruch der Französischen Revolution verlor Martini seine Ämter und floh vor den Unruhen nach Lyon. 1796 erhielt er dann zwar wieder eine Anstellung im Conservatoire de Musique, doch waren die dort komponierten Opern wenig erfolgreich und er wurde 1802 erneut entlassen. In der Folge widmete er sich wieder der Kirchenmusik. Als er bereits weit über 70 war, erlebte er die Restauration der Bourbonen 1814 und er wurde vom König erneut in die Stellung des Surintendant de la musique du Roi berufen. Er komponierte zuletzt noch ein Requiem zu Ehren des hingerichteten Königs Ludwig XVI., das drei Wochen vor seinem eigenen Tod in Saint-Denis uraufgeführt wurde. Martini selbst wurde ein prunkvolles Begräbnis auf dem Friedhof Père Lachaise zuteil.