Barnby wurde in York als Sohn von Thomas Barnby, der Organist war geboren. Joseph war ein Chorknabe an der Kathedrale von York aus dem Alter von sieben Jahren wurde an der Royal Academy of Music unter Cipriani Potter und Charles Lucas erzogen und wurde 1862 Organist an der St. Andrews, Wells Street ernannt.
Er war Leiter des "Barnby Chor" aus dem Jahr 1864, und im Jahre 1871 wurde an Charles Gounod, Leiter der Royal Albert Hall Choral Society, ein Position, den er bis zu seinem Tode innehatte. Im Jahre 1875 war er Kantor und Musikdirektor an der Eton College, und im Jahre 1892 wurde Rektor der Guildhall School of Music und erhielt die Ehre des Ritter im Juli dieses Jahres. Zu seinen Werken zählen ein Oratorium Rebekah, Der Herr ist König (Psalm 97), viele Dienstleistungen und Hymnen, und 246 Choralmelodien (im Jahre 1897 in einem Band veröffentlicht), sowie einige Partsongs (darunter die beliebten Sweet and Low) und einige Stücke für die Orgel. Er führte die Cardiff Festivals von 1892 und 1895. Er starb in London und nach einem besonderen Gottesdienst in St. Pauls Kathedrale wurde begraben West Norwood Cemetery.