Dat Michel Legrand uitzonderlijk begaafd was bleek al uit het feit dat hij op 11-jarige leeftijd naar het Conservatorium in Parijs trok en daar zelfs cum lade afstudeerde. In de jaren ’50 werd hij zowel zanger als bandleider maar begon hij ook met het componeren van filmmuziek. Hij zorgde voor de muzikale begeleiding op piano voor onder andere Bing Crosby en Juliette Greco maar hij was ook dirigent. In zijn beginperiode werkte hij samen met regisseurs als Agnès Varda, Jean-Luc Godard en Jacques Demy.

Op internationaal vlak brak hij door dank zij de filmmuziek van Les parapluies de Cherbourg – The Umbrellas of Cherbourg, hij schreef ook de muziek voor het liedje I Will Wait For You uit die film en kreeg er een Oscarnominatie voor. Dat opende de deuren naar muzikaal werk in zowel Engeland als de Verenigde Staten. Zo werkte hij samen met Norman Jewison, Joseph Losey, Kon Ichikawa en Orson Welles om er maar enkele te vermelden.
Legrand schreef niet alleen muziek, hij bleef ook zingen. Zo nam hij in 1954 zijn eerste lp op maar trad ook internationaal op voor televisie. Hij schreef muziek voor balletten van Roland Petit, begeleidde heel wat andere artiesten en werkte regelmatig samen met Maurice Chevalier. Het thema dat hij schreef voor de televisiefilm Brian’s Song (1971) was ook bijzonder populair.

Michel Legrand maakte met Cinq jours en juin - Five Days in June (1989) zijn debuut als regisseur van een langspeelfilm. Het was een autobiografisch drama dat zich afspeelde in de periode van de landing in Normandië. Legrand maakte de laatste fase van de Tweede Wereldoorlog immers mee als tiener. Het was ook in deze periode dat hij als 14-jarige (!) een relatie had met een vrouw die dubbel zo oud/jong was.

De vader van Michel Legrand, Raymond Legrand, maakte ook filmmuziek voor Franse films in de jaren ’40 en ’50.