Johnny Mercer trok op jonge leeftijd als lid van een plaatselijke theatergroep naar New York. Hij werd vocalist en ceremoniemeester bij het Paul Whiteman Orchestra wat voor hem een aantal spreekwoordelijke deuren opende.

Mercer die ooit nog als toneelacteur werkte werd actief in Hollywood begin de jaren ’30. Hij behoorde net als Cole Porter, Lorenz Hart, Oscar Hammerstein II en Irving Berlin tot de grootste tekstdichters van zijn tijd.

Straf is wel dat Mercer eigenlijk geen muziek kon lezen maar er toch in slaagde om bijvoorbeeld de volledige score van de Broadway-musical Top Banana te schrijven.

In 1933 schreef hij op de muziek van Hoagy Carmichael Lazybones, een heuse tophit.

Hij heeft in zijn carrière samengewerkt met de allergrootste componisten uit die periode: Harry Warren, Jerome Kern, Harold Arlen en Henry Mancini om er maar enkele te noemen.

Vanaf 1933 werkte hij ook mee aan musicals.

In 1974 werkte hij ondanks zijn leeftijd nog samen met componist André Previn voor de toneelshow The Good Companions, gebaseerd op de roman van J.B. Priestley.

Zijn gekendste liedjes zijn That Old Black Magic, Jeepers Creepers, Blues in the Night, Laura, Something’s Got to Give en Accentuate the Positive. Hij schreef ook de Engelse tekst voor het Franse deuntje Autumn Leaves.

Johnny Mercer was uitzonderlijk ook als acteur te zien in een aantal films.