Im Alter von vier Jahren kam der junge Alexander erstmals in Kontakt mit Musik. Sein Vater hatte einen Freund der Familie als Untermieter aufgenommen, der sein Piano mitbrachte. Dieser ließ seinem Sohn Klavierunterricht erteilen und erlaubte auch Alexander, am Unterricht teilzunehmen. Da er wesentlich rascher Fortschritte machte, bekam Alexander bald einen eigenen Lehrer und wurde intensiv gefördert. 1881, im Alter von zehn Jahren, wurde er in den neu gegründeten Tempelchor der sephardischen Gemeinde aufgenommen. Als er drei Jahre später in den Stimmbruch kam, konnte er als musikalischer Begleiter der Chorproben und durch sein Orgelspiel in der Synagoge erstmals ein Taschengeld verdienen. Musikalisch beeinflusste ihn die geistliche, sephardische Musik aber nur gering. Als Kind mit der Musik Mozarts aufgewachsen, entdeckte er rasch Brahms und Wagner. Lediglich eine von ihm komponierte Motette mit dem Titel Hochzeitsgesang für die Heirat der Tochter des Kantors 1896 ist belegt.