Zijn vader was een Ierse juwelier, zijn moeder Ada Steinberg Jaffe, een Russische actrice.  Als kind was hij al samen met haar te zien in toneel. 

Sam Jaffe had aanvankelijk gekozen voor een carrière in het onderwijs, zelf had hij gestudeerd aan de Graduate School of Engineering in Columbia.  Hij gaf een tijd wiskundelessen op het Bronx Cultural Institute.  Tot hij op een dag het roer omgooide en koos voor het acteren. 

Sam Jaffe begon zijn toneelcarrière in 1915 bij de Washington Square Players.  In 1930 was hij te zien in het stuk Grand Hotel op Broadway.  In 1934 maakte hij zijn filmdebuut.

Zijn eerste langspeelfilm in Hollywood was The Scarlet Empress van Josef von Sternberg.  Daarin was hij te zien als de krankzinnige tsaar Peter van Rusland die een korte periode gehuwd was met Catharina de Grote (rol van Marlène Dietrich).

Andere films die het vermelden waard zijn : zijn rol van de High Lama in Lost Horizon en Gunga Din waarin hij de titelrol vertolkte.  En natuurlijk The Asphalt Jungle waarin hij in de huid kroop van Dr. Erwin Riedenschneider, een Duitse misdadiger met een zwak voor jonge meisjes, iets wat uiteindelijk zorgt voor een noodlottige afloop.  Hij kreeg er op het Filmfestival van Venetië de Prijs voor Beste Acteur voor.

Jaffe was ook te zien op televisie, onder andere in de televisieserie Ben Casey.  Daarin speelde hij de rol van Dr. Zorba.  Zijn tweede echtgenote Betty Ackerman speelde er ook in mee.  Zijn eerste vrouw, actrice Lillian Taiz, overleed in 1941.

In 1948 richtte hij in New York het Library Theatre op dat zich vooral richtte op jonge acteurs.