Als Sohn eines deutschen Einwanderers zeigte Fisher schon in jungen Jahren musikalische Fähigkeiten. Als er acht Jahre alt war, begann er in einer deutschen Kirche in Baltimore zu singen. Er lernte das Notenlesen in einem Kirchengesangskurs und studierte anschließend Klavier und Orgel. Er lernte das Buchbinden bei JB Lippincott in Philadelphia, Pennsylvania, verbrachte seine Abende jedoch damit, Musik zu studieren und zu üben. Er war ein erfahrener Trainer und Leiter großer Sängergruppen jeden Alters und war ein gefragter Leiter von Chören und Chören für geistliche Musik in Philadelphia. Außerdem unterrichtete er Gesang, Klavier und Musiktheorie. Er war eng mit walisischen Musikfestivals verbunden und leitete die vereinten walisischen Gesellschaften anlässlich des 200. Jahrestags der Landung von William Penn (Gründer von Pennsylvania).
Von 1858 bis 1868 war Fisher Professor für Musik am Girard College. Bevor er das Girard College verließ, begann er im Klaviergeschäft, wo er eines der wohlhabendsten Klavierhäuser des Landes aufbaute. Bis zu Goulds Tod im Jahr 1875 war er Partner von John E. Gould. Von diesem Zeitpunkt an war Fischer mehrere Jahre lang Alleininhaber des Unternehmens, bis er seinen ältesten Sohn Charles in die Partnerschaft aufnahm. Er ging 1898 endgültig in den Ruhestand und wurde von seinem Sohn abgelöst.
