Elmo Williams begon zijn filmcarrière in 1933 in Engeland als cutter (knipper). In 1939 keerde hij terug naar de Verenigde Staten en ging aan de slag bij RKO waar hij tot eind de jaren ’40 heel wat films monteerde.

De western The Tall Texan was de eerste film die hij regisseerde. In 1954 maakte hij dan de uitstekende documentaire rond het échte Amerikaanse westen : The Cowboy, een film die hij ook zelf produceerde. Hij werkte als second-unit director aan heel wat films. Verder werd hij ook betrokken als associate producer en coördinator bij de gevechtsscènes van The Longest Day (1962).

Hierna werd hij aangesteld als Hoofd van 20th Century-Fox British productions.

In 1970 produceerde hij Tora ! Tora! Tora!, het jaar daarna werd hij Diensthoofd Productie voor Fox maar dan wereldwijd.