Zijn vader was afkomstig uit de Elzas, zijn moeder had de Engelse nationaliteit. John Houseman studeerde aan het Clifton College en trok hierna naar Argentinië als vertegenwoordiger van de granenhandel van zijn vader. Twee jaar later kwam hij aan in de Verenigde Staten om er het zelfde te doen.

Hij begon in die periode ook te schrijven voor magazines en vertaalde toneelstukken uit het Frans en Duits. De Depressie zorgde ervoor dat de granenhandel failliet ging waarna hij de contacten die hij inmiddels had opgebouwd in de VS aansprak om terug aan het werk te kunnen. Met succes want hij kreeg de kans om de avant-garde opera Four Saints in Three Acts van Gertrude Stein en Virgil Thomson te regisseren. Die werd een groot succes op Broadway in 1934.

Hij startte samen met Orson Welles in 1935 het Negro Theater Project op, in 1936 richtte hij het Classical Theater op, in 1937 het Mercuy Theater. Voor het laatste regisseerde én produceerde hij niet alleen een aantal van hun producties maar ook programma’s voor het radio-programma Mercuy Theater of the Air. Iets wat hij combineerde met lesgeven aan het Vassar College. Hij was ook betrokken bij de wereldberoemde uitzending van War of the Worlds en als producent van de debuutfilm van Orson Welles die nooit werd afgewerkt.

Samen met Welles trok hij naar Hollywood en had een belangrijke ondersteunende rol in het tot stand komen van de film Citizen Kane. Hij kreeg dan wel geen officiële vermelding in de film, zelf beweert Houseman dat hij samen met Herman Mankiewicz het origineel verhaal voor de film schreef. Het was een bewering waar Orson Welles zich mateloos aan ergerde, een meningsverschil dat nooit meer echt zou bijgelegd worden en er voor zorgde dat de onderlinge samenwerking werd beëindigd.

Houseman sloot zich hierna aan bij David O. Selznick Productions maar stapte er enkel dagen na Pearl Harbor al op om chef te worden van de radio-divisie van de OW1.

Na zijn terugkeer naar Hollywood werd hij producent van heel wat belangrijke films maar pendelde op en af naar New York om er toneelstukken op Broadway en tv-specials te produceren én te regisseren, iets wat bekroond werd met 3 Emmy’s.

Van 1956 tot 1959 was hij artistiek directeur van het American Shakespeare Festival, daarna van de Professional Theater Group van de UCLA (n.v.d.r. Universiteit van Californië Los Angeles).

In 1967 werd hij Directeur van de toneelafdeling van Juilliard, begin de jaren ’70 had hij veel succes met de tournees van het repertoire-gezelschap The Acting Company.

John Houseman was actief op vlak van film, televisie en toneel. Als producent leverde hij zijn bijdrage aan enkele van de betere films van Nicholas Ray, Vincente Minnelli en Max Ophüls.

Hij schreef zijn memories neer in drie delen onder de titels Run-Through (1972), Front and Center (1979) en Final Dress (1983). Een vierde deel met de titel Unfinshed Business, gebaseerd op de eerder vermelde boeken maar aangevuld met nieuw materiaal, werd postuum uitgebracht in 1988. Daarnaast schreef hij in 1986 nog Entertainers and the Entertained.

Houseman maakte in het tweede deel van zijn carrière de overstap naar acteren. Aanvankelijk in kleine rollen : het nooit afgewerkte Too Much Johnson (1938), I’ll Met by Moonlight (1957) en als weinig betrouwbare admiraal in Seven Days in May (1964), gevolgd door een rol als sarcastische rechtsgeleerde in The Paper Chase. Voor die laatste film kreeg hij een Oscar waardoor hij hetzelfde personage ook speelde in 1978, 1979, 1983 en 1984 in de gelijknamige televisieserie.

Een schouwburg in de omgeving van Times Square werd in 1986 naar hem genoemd.

Zita Johann was zijn eerste echtgenote.