Elihu S. Rice war der Sohn von Erastus Rice und Lucretia M. Howe Rice. Er und seine verwitwete Mutter zogen 1838 von New York nach Logansport, Indiana . 1854 heiratete er Jeanette Mabon.

Obwohl einige Quellen seinen Vornamen als Elisha angeben, steht auf seinem Grabstein Elihu.

Rice interessierte sich schon früh für Musik und wurde 1848 zum Leiter des örtlichen Gesangsclubs gewählt. Ab 1866 war er Sekretär und Chorsänger der Baptist Sunday School in Logansport.