Bert Kalmar begon zijn carrière als kindgoochelaar die shows gaf in feesttenten, later was hij te zien in Vaudeville-voorstellingen.

In 1923 sloeg hij de handen in elkaar met Harry Ruby, samen zorgden ze voor het schrijven van de muziek én de teksten voor negen Broadway-musicals en een aantal films, waaronder drie van de Marx Brothers. Verder werkten ze ook samen aan een aantal van de scenario’s van die films.

Er werd ook een film gemaakt van hen, Three Little Words (1950), een soort van filmbiografie zij het wel overgoten met een romantische touch. Daarin werd Bert Kalmar vertolkt door Fred Astaire terwijl Red Skelton in de spreekwoordelijke huid kroop van Harry Ruby.