Zijn vader was acteur Rudolf Schildkraut, zelf studeerde Joseph aanvankelijk aan de Keizerlijke Muziekacademie, nam hij lessen bij Albert Basserman maar studeerde ook aan de American Academy of Dramatic Arts in New York.  In de periode 1913-1917 trad hij zelf verschillende keren op in Berlijn als lid van het gezelschap van Max Reinhardt waarna hij terugkeerde naar Amerika.

In 1921 maakte hij zijn Amerikaans filmdebuut en was te zien in meer dan 60 films.  Zijn beste rol was ongetwijfeld die van Kapitein Dreyfus in The Life of Emile Zola waarvoor hij bekroond werd met een Oscar maar laat ons zeker ook niet zijn rol van Otto Frank in The Diary of Anne Frank vergeten.  Desondanks mag gesteld worden dat zijn talent nog het meest gewaardeerd werd op Broadway en in het tweede deel van zijn carrière op televisie.

in 1959 publiceerde hij zijn autobiografie 'My Father and I'.