Milhaud stammte aus einer wohlhabenden, alteingesessenen jüdisch-provenzalischen Familie. Er wurde zwar in Marseille geboren, wuchs aber in Aix-en-Provence auf.
Seine systematische Musikerziehung begann im Alter von 7 Jahren mit der Aufnahme von Violinunterricht. Erste eigene Kompositionen entstanden 1905.
1912 wurde er mit dem Dichter Paul Claudel bekannt gemacht, mit dem ihn eine lebenslange Freundschaft und künstlerische Zusammenarbeit verbinden sollte. Als Claudel 1916 als französischer Botschafter in die damalige brasilianische Hauptstadt Rio de Janeiro entsandt wurde, begleitete ihn Milhaud, vom Dienst im Ersten Weltkrieg befreit, als sein Attaché nach Südamerika. Dort lernte er die brasilianische Folklore und Popularmusik kennen, die seine Musik in den folgenden Jahren stark beeinflussen sollte.
Nach Ausbruch des Zweiten Weltkriegs emigrierte Milhaud mit seiner Frau in die USA und wurde am Mills College in Oakland Lehrer für Komposition (bis 1971). Seit 1948 leitete er zusätzlich eine Kompositionsklasse am Konservatorium in Paris (bis 1972). Er unterrichtete in der folgenden Zeit jährlich wechselnd auf beiden Kontinenten.
