Mertz wuchs in einer armen Familie auf. Bereits mit 12 Jahren gab er Gitarren- und Flötenunterricht. In Wien, wo er, seit Herbst 1840 lebte und als Gitarrist auftrat, war Mertz als Lehrer wie als Konzertmusiker tätig. Sein Wirken in Wien ereignete sich vor dem Hintergrund des allgemeinen Verfalls des öffentlichen Interesses an der Gitarre in Wien. In Dresden lernte Mertz die Pianistin Josephine Plantin kennen, die er im Dezember des Jahres 1842 heiratete.
Die Lebensbedingungen in Wien waren für das Ehepaar Mertz daher sehr schwierig und von wirtschaftlichen Schwierigkeiten geprägt. Aus der Biografie über Mertz, die Josephine Mertz 1902 in der Zeitschrift „Der Guitarrefreund“ verfasste Johann Dubez (1828–1891) als Schüler genannt. Es scheint, als habe Dubez das Wirken seines Lehrers nach dessen Erkrankung fortgesetzt. Gleichwohl verzeichnet Hanslick in „Geschichte des Conzertwesens in Wien“ Dubez als Harfenisten, was darauf hinweist, dass die Hochphase der Gitarre in Wien um 1850 vorüber war und dass die Wahrnehmung des Johann Dubez in Wien eher auf Harfe und Zither gerichtet war als auf die Gitarre.
Die zeitgenössischen Kritiken der Konzerte des C. J. Mertz kommen zu unterschiedlichen Bewertungen. Einerseits wirkten immer noch die Konzerte Regondis der Jahre 1840/41 nach, was Mertz’ Wirken einem hohen Maßstab aussetzte. Andererseits gab es kaum eine Kritik, die nicht die Gitarre als „undankbares Instrument“ darstellte. Eine professionelle, den Lebensunterhalt sichernde Existenz als Konzertmusiker war vor diesem Hintergrund kaum möglich. So war die Existenz vor allem aus der Unterrichtstätigkeit heraus zu sichern, was auch die Notwendigkeit einschloss, Zither und Flöte zu unterrichten. (Ähnlich verhielt sich Dubez, der Harfe, Melophon, Geige, Mandoline und Gitarre spielte und als Präsident des Ersten Wiener Zitherclubs dem Modeinstrument Zither Rechnung trug.) Gleichwohl waren Mertz und Dubez die einzigen namhaften Vertreter der Gitarre in Wien der zweiten Jahrhunderthälfte. Mertz blieb in der Geschichte der Gitarre als Komponist präsent, insbesondere die Wiederbelebung der Gitarre um 1900 hat sich seiner Werke angenommen.
Im Jahre 1846 erkrankte Mertz. Josephine Mertz verkaufte nach dem Tode ihres Mannes dessen Manuskripte und Instrumente. Zahlreiche Werke kamen so in den Besitz des schwedischen Ingenieurs und Mathematikers Carl Oskar Boije, der das Material nach seinem Tode der Schwedischen Musiksammlung (Statens Musikbibliotek) überließ. Die Boije-Sammlung verwahrt auch die Werke von Johann Dubez.
Kurz bevor Mertz im Jahre 1856 nach schwerer Krankheit starb, gewann er den Brüsseler Gitarren-Kompositionswettbewerb. Vermutlich starb Mertz an den Folgen einer Überdosis eines Medikaments, das ihm seine Frau versehentlich verabreicht hatte.
