Cohen wurde an der rumänischen Grenze in der Nähe von Iași geboren. Er wanderte 1878 mit seinen Eltern nach Palästina aus. Seit 1886 lebte er in Rischon LeZion, wo er Weinbau studierte.

Er spielte Geige. 1888 setzte er die wichtigsten Strophen des Gedichts Tikwatenu (hebräisch תיקותנו „Unsere Hoffnung“) von Naphtali Herz Imber in Musik, das letzterer 1877 in Iași niedergeschrieben hatte. Der zehnstrophige Text dieses Gedichts wurde 1886 in Imbers Ankündigung der Morgendämmerung in Jerusalem veröffentlicht. Die Musik zur „Hatikwa“ erschien mit Text im Verlag von C. G. Röder 1895 in Leipzig unter dem Titel Vier Lieder als Arrangement von S. T. Friedland als „Sehnsucht“.

Cohen wurde wahrscheinlich für seine Melodie von dem moldauischen Volkslied Carul cu boi (Ochsenkarren) inspiriert, das in Rumänien als „Cantec de mai“ (Mailied) oder „Cucuruz cu frunza-n sus“ (Mais mit hohen Blättern) bekannt ist. Nach dem deutschen Musikwissenschaftler Peter Immanuel Gradenwitz (1910–2001) bediente sich Cohen eines Motivs aus den liturgischen Gesängen des Kantors Nissan Belzer Spivak (1824–1906) aus Chișinău.