James Whitmore studeerde aan de Universiteit van Yale.  Daar sloot hij zich aan bij de Yale Drama School Players en was hij mede-oprichter van het Yale radiostation.

Tijdens de Tweede Wereldoorlog vervulde hij zien dienstplicht als marinier.

In 1947 maakte hij zijn debuut op Broadway als grappige legersergeant in ‘Command Decision’ én maakte hij zijn eerste film.  Met zijn tweede film – “Battleground” – was het al raak want hij kreeg een Oscar-nominatie in de categorie ‘Beste Acteur in een Bijrol’.  Whitmore had in zijn carrière meer bij- dan hoofdrollen.  Uitzonderingen – hoofdrollen dus – had hij in “The New Voice You Hear” (1950), “Them” (1954) en “Black Like Me” (1964).

Andere vermeldenswaardige films uit zijn filmografie zijn “The Asphalt Jungle” en “Madigan” waar hij een oudgediende Politieman speelt die zijn zoon die op het slechte pad is geraakt probeert te beschermen.  Verder was Whitmore ook te zien in “Planet of the Apes”.  Daar speelde hij de President en dat was niet de laatste keer : zo vertolkte hij de rol van President Truman in “Give ‘Em Hell Harry !” (Oscar-nominatie !) en in “Bully” die van President Theodore Roosevelt.

Whitmore was begin de jaren ’60 ook te zien in de televisieserie The Law and Mr. Jones.

Zijn zoon James Whitmore Jr. werd ook acteur.