In het begin van zijn carrière, vanaf de leeftijd van zeventien, speelde Ralph Nelson toneel in New York na en tijdens een problematische jeugd én een door gepleegde misdrijven verplicht verblijf in een jeugdinstelling. Hij was te zien in een aantal Broadway-producties, in de jaren ’40 schreef en regisseerde hij meerdere toneelstukken. Hij was ook een tijd toneelmeester voor Alfred Lunt en Lynn Fontanne.

De Tweede Wereldoorlog betekende ook voor Nelson een periode van inactiviteit, hij vervulde zijn dienstplicht als vlieginstructeur bij de Army Air Force. Eens die voorbij was ging Nelson aan de slag op televisie als acteur, regisseur en producent. Volgens sommige bronnen leverde hij tussen 1948 en 1960 op een of andere manier een bijdrage aan om en bij 1.000 tv-producties.

Halfweg de jaren ’50 had hij dan uiteindelijk zijn plaats gevonden in de filmwereld, als regisseur. Hij had in zijn tv-periode een Emmy ontvangen voor Requiem for a Heavyweight en besloot om er ook een film van te maken, het werd in 1962 meteen zijn langspeelfilmregiedebuut.
In de jaren ’60 en ’70 regisseerde en produceerde hij voornamelijk langspeelfilms. Meermaals had hij zo een zekere inbreng gehad wanneer iemand van zijn cast een Oscar kreeg : Sidney Poitier voor Lilies of the Field, Cliff Robertson voor Charly.  Niettegenstaande dit waren de critici maar zelden wild van zijn kunnen.
Ralph Nelsons carrière bleef beperkt qua genres, ofwel maakte hij overdreven sentimentele- dan wel bijzonder gewelddadige langspeelfilms. Hij speelde in zijn eigen films soms ook zelf een rolletje.

In 1938 huwde hij met Celeste Holm maar dat huwelijk werd al na enkele jaren ontbonden.