Große Bedeutung erlangte er 1531 mit der Herausgabe eines Gesangbuches mit Kirchenliedern, das 1531 unter dem Titel „Ein Neues Gesangbuchlein“ erschien. Es enthält 157 deutsche Lieder, von denen 137 Eigendichtungen oder Umarbeitungen Weißes sind; die meisten Melodien stammen aus der tschechischen Tradition der Böhmischen Brüder. Dieses erste deutschsprachige Gesangbuch der böhmischen Brüderunität ist mehrfach nachgedruckt worden und wirkte anregend auf weitere Werke dieser Art.
1544 gab Weißes früherer Gesinnungsgenosse Johann Horn Weißes Gesangbuch von 1531 neu heraus. Von den insgesamt 181 Liedern stammten 149 aus der ersten Auflage, 32 Lieder, deren Autor nicht sicher belegt ist, kamen neu hinzu. Diese Ausgabe wurde in Nürnberg gedruckt.
Weißes Lieddichtungen bewähren sich bis in die Gegenwart. Im Evangelischen Gesangbuch (EG) sind neun Lieder von ihm enthalten.
