Zijn vader was een dealer in meubels, zijn moeder had graag concertpianiste willen worden en mede dank zij haar invloed ging Jerome Kern muziek schrijven en specialiseerde hij zich in het genre van de musical. Met succes want zelfs een boek als Show Boat waarvan velen dachten dat het niet te verfilmen was, laat staan om er filmmuziek rond te schrijven, bleek voor Kern wél mogelijk en werd zelfs een spreekwoordelijk schot in de roos. Waar de muziek aanvankelijk werd geschreven voor toneel werd die ook drie keer aangepast/herschreven voor een film, respectievelijk in 1929, 1936 en 1951.

Al van op de middelbare school bleek dat Jerome aanleg had voor muziek wanneer hij zelf muziek begon te schrijven voor schoolavonden. Op 17-jarige leeftijd schreef hij zijn eerste liedje, drie jaar later had hij zijn eerste hit te pakken.

Hij maakte zijn studies muziek af in New York, trok naar Londen - we schrijven 1903 - en ging er er muziek schrijven voor shows op West End. Maar er was maar weinig continuïteit in zijn opdrachten waardoor hij terugkeerde naar Amerika en er werkte als pianist en begeleider in variété-voorstellingen.  Anno 1911 schreef hij zijn eerste muziek voor een Broadway-productie.

Jerome Kern heeft de verdienste grote invloed te hebben gehad op collega-componisten als George Gershwin en Richard Rodgers.

Het was actrice Billie Burke die Kern overtuigde om de muziek voor de stille film Gloria's Romance (1916) te schrijven maar het duurde hierna nog tot 1930 vooraleer hij nog eens muziek schreef voor een film.
Hij vestigde zich in 1934 in Hollywood. Hij paste de muziek die hij vroeger had geschreven aan voor film maar hij schreef ook originele filmmuziek en muzieknummers.

Hij overleed in 1945 aan een hartaanval.

Zijn levensverhaal vormde de basis voor de film Till the Clouds Roll By (1946) waarin Robert Walker de componist vertolkte.

Enkele nummers die Kern geschreven heeft in zijn carrière werden ook jaren na zijn dood gebruikt in films. De belangrijkste:
The Way You Look Tonight dat hij samen met Dorothy Fields schreef en in de film Anything Else (2003) werd uitgevoerd door Billie Holiday samen met Teddy Wilson en zijn orkest.
In 2004 kon je in Around the Bend het nummer A Fine Romance horen dat Kern ook al schreef samen met Dorothy Fields en in de film werd uitgevoerd door Jill Zadeh en Gary LeMel.
In 2005 was All The Things You Are te horen in Mrs. Henderson Presents, geschreven samen met Oscar Hammerstein II.
En John Coltrane zong in Adrift het liedje I'm Old Fashined dat Kern met Johnny Mercer had geschreven.