Toen hij werkte als kantoorbediende bij het Boston Opera House fungeerde hij ook als begeleider bij repetities. Iets later was hij verantwoordelijk voor het pluggen (=promoten) van liedjes en onderhield op die manier goede contacten met firma’s die muziek uitbrachten.
Het was op dat moment dat hij begon met het schrijven van liedjes waarvan er heel wat echte hits werden: I Can’t Give You Anything but Love, I’m in the Mood for Love, On the Sunny Side of the Street, I love to Whistle, It’s a Most Unusual Day en Singin’ the Blues.
Zijn eerste Broadway-succes boekte hij met Blackbirds of 1928 waarna andere Broadway-shows volgden. Hij werkte voornamelijk met tekstschrijvers Dorothy Fields en Harold Adamson, vanaf 1929 schreef hij heel wat nummers voor Hollywood-films. In The Helen Morgan Story (1957) was hij te zien als gast, in de film waren heel wat van zijn liedjes te horen.

Jimmy McHugh heeft muziek geschreven die vrij tijdloos is gebleken. Zo schreef hij samen met Dorothy Fields ooit Diga Diga Doo waarvan stukjes gebruikt werden voor het nummer Bei mir bist di schoen (Means That You're Grand) dat te horen was in de film Papillon (2018).
Een jaar later was het liedje Where Are you dat hij geschreven had met Harold Adamson en uitgevoerd wordt door Julie London te horen in de film Great (2019).
In 2006 was de song Lovely Way To Spend an Evening dat hij ook al met Harold Adamson had geschreven te horen in Inland Empire, het werd uitgevoerd door het Mantovani orkest. Nog vroeger zorgde het liedje I Can’t Believe You’re In Love with Me dat hij had geschreven met Clarence Gaskill te horen in Anything Else (2003), in een uitvoering van Billie Holliday en Teddy Wilson en zijn orkest.