Sheppard wurde am 7. August 1852 in Philadelphia, Pennsylvania, geboren. Sheppard besuchte die William Fewsmith's Classical School und die University of Pennsylvania, wo er 1872 seinen Abschluss als Abschiedsredner machte. 1875 zog Sheppard nach Boston, Massachusetts, um die Gießerei des väterlichen Ofen- und Heizungsherstellers zu leiten. Shepard besuchte die Zion Protestant Episcopal Church in Boston, wechselte aber später zum Presbyterianismus. Schließlich trat er der Second Presbyterian Church in Baltimore, Maryland, bei und wurde Präsident des Presbyterian Board of Publications and Sabbath-School Work. Im Jahr 1915 gab er das presbyterianische Liederbuch "Alleluja" heraus, das das Lied "Dies ist die Welt meines Vaters" enthielt.