Josef von Sternberg werd geboren in een arm Joods-Orthodox gezin. Het aristocratische bijvoegsel von werd aan zijn naam toegevoegd omdat een Hollywood-producer vond dat het beter stond wanneer zijn naam in filmverband zo zou worden vermeld.

Hij was pas zeven toen hij naar Amerika ging waar hij opgroeide in Jamaica Queens in New York en er de lagere school volgde. Hierna keerde hij terug naar Wenen om er de rest van zijn schoolopleiding te volgen. Op 17-jarige leeftijd keerde hij terug naar New York en ging er werken bij de World Film Company. Hij maakte carrière wanneer hij doorgroeide naar filmknipper, schrijver, assistent-regisseur en adviseur van William S. Brady, de grote baas van het filmbedrijf.

In 1917 sloot hij zich aan bij het Army Signal Corps en maakte er een aantal trainingsfilms. Na de wapenstilstand keerde hij terug naar Europa waar hij assistent werd van verschillende regisseurs. Uiteindelijk vestigde hij zich in Hollywood in 1924.

Hij deed er aanvankelijk extra ervaring op door bepaalde scènes af te werken die andere regisseurs niet tot een eindresultaat hadden gebracht. Op die manier kwam hij in contact met George K. Arthur, een Britse toneelacteur die bereid was om 5.000 Dollar te investeren in het langspeelfilmdebuut van von Sternberg die op dat moment al een scenario beschikbaar had dat daarvoor ideaal leek. Hij draaide The Salvation Hunters die zich afspeelde op en rond de dokken van de San Pedro Bay. De manier waarop hij de wereld op de vermelde locatie in beeld bracht en vooral de manier waarop hij speelde met licht en schaduw zorgden er voor dat hij als nieuwe regisseur onder de aandacht kwam van Hollywood.

Von Sternberg sloot een contract af met MGM maar de studio hield niet echt van de manier waarop hij zijn eerste film The Exquisite Sinner regisseerde en liet hem hermaken door een andere regisseur. Het zelfde gebeurde met zijn tweede film The Masked Bride waarna het contract tussen hem en MGM werd verbroken met onderlinge toestemming. Niemand minder dan Charlie Chaplin vroeg hem hierna om een film op te nemen voor zijn protegé Edna Purviance die aanvankelijk de titel The Sea Gall en daarna A Woman of the Sea kreeg. Von Sternberg was tevreden met het eindresultaat, Chaplin niet. Hij vond de film te ingewikkeld voor het doorsnee publiek en de film werd nooit uitgebracht. Volgens een aantal mensen die de nooit uitgebrachte film zag was het één van de mooiste films ooit opgenomen in Hollywood…

Het hobbelige parcours die von Sternberg tot dan had afgelegd kreeg een positieve wending wanneer hij als assistent-regisseur aan de slag ging bij Paramount. Producenten waren onder de indruk van de manier waarop hij tussenkwam bij films van andere regisseurs en gaven hem groen licht voor het regisseren van Underworld, gebaseerd op een verhaal van Ben Hecht. Het was de eerste film in Hollywood die een goed beeld gaf van de gangsterwereld, gekenmerkt door de unieke stijl van von Sternberg. In deze maar ook de latere films van von Sternberg was duidelijk dat het visuele primeerde op het inhoudelijke van de plot. Von Sternberg was dan wel gekend als een gemanierde en zelfs toegeeflijke stylist, hij kreeg ook kritiek omdat men vond dat hij een eerder afstandelijke visie had van de wereld. Hoe dan ook, in zijn topjaren (1927-1935) was hij een grote mijnheer in de Amerikaanse filmwereld, een geïnspireerd artiest en een uitstekend technicus.

In 1930 trok hij naar Duitsland om er The Blue Angel, de eerste gesproken film van Emil Jannings, te regisseren. Zijn zoektocht naar een actrice die de rauwe seksualiteit van het hoofdpersonage Lola Lola gestalte kon geven leidde naar Marlene Dietrich die hij ontdekte bij een toneelstuk in Berlijn. Het was het begin van een vijf jaar durende samenwerking die Dietrich liet uitgroeien van een mollige fraülein tot een sensuele, wellustige filmster. The Blue Angel, een klassieker op vlak van erotiek op het grote scherm, werd een ongelooflijk internationaal succes. Dietrich liet haar man en kind achter en trok op aanraden van von Sternberg naar Hollywood. Von Sternberg regisseerde er zes films met Dietrich : Morocco, Dishonered, Shanghai Express, Bonde Venus, The Scarlet Empress en The Devil Is a Woman, meteen goed voor hét hoogtepunt in zijn totale carrière.

Over zijn totale carrière bekeken konden zijn films niet altijd bekoren op internationaal vlak. Hij was een filmmaker die werd gezien als mysterieus en vol contradicties, trots en tegelijk arrogant maar ook wal koppig. Zijn werkrelatie met Dietrich en Paramount eindigde in 1935 waarna bleek dat de grote filmstudio’s niet echt open stonden voor zijn ideeën. Hij maakte twee films voor Columbia : een interessante versie van Crime and Punishment en The King Steps Out, een filmbewerking van een operette.

In 1937 trok hij naar Engeland voor het meest ambitieuze filmproject uit zijn carrière : een herwerkte filmversie van I Claudius, gebaseerd op de historische roman van Robert Graves met Charles Laughton in de hoofdrol. De film werd opgestart onder de vleugels van Alexander Korda maar kende een slechte start : de opnames werden al na enkele weken stilgelegd als gevolg van de kwetsuren die de hoofdrolspeelster Merle Oberon opliep bij een verkeersongeval. De precieze of exacte reden(en) waarom de opnames nooit werden hervat en de film dus nooit werd afgewerkt blijven ook nu nog onduidelijk. Het was voor velen in die mate intrigerend dat men er een documentaire rond maakte die eind de jaren ’60 op BBC televisie te zien was onder de titel The Epic That Never Was en ook op beperkte schaal te zien was in de Verenigde Staten. De opnames uit de film die getoond werden in de docu bewezen dat deze film zonder twijfel één van von Sternbergs grootste films uit zijn carrière had kunnen worden.

Toen von Sternberg in 1938 terugkeerde naar de Verenigde Staten ging hij in op de vraag van MGM om twee films te maken voor hen. Bij de eerste werd hij al na enkele dagen vervangen door een andere regisseur, de tweede werkte hij af met een middelmatig resultaat.

In 1941 nam hij de draad terug op met The Shanghai Gesture waarna hij enkele zeldzame films maakte voor Howard Hughes die niet meer waren dan klassieke routine.

De belangrijkste realisatie in de laatste fase van zijn carrière was een film die hij in 1953 maakte in Japan : The Saga of Anathan (originele titel : Ana-Ta-Han). Dat werd een opmerkelijk drama, gebaseerd op waar gebeurde feiten tijdens de Tweede Wereldoorlog waarbij een groep Japanse mariniers hun positie behield op een eiland tot maar liefst zeven jaar nadat de oorlog officieel was beëindigd, omdat ze weigerden te geloven dat de oorlog beslecht was in het nadeel van Japan.

Hierna trok von Sternberg zich terug in een modern optrekje in Los Angeles. De jaren die volgden reisde hij af naar heel wat internationale filmfestivals en gaf lezingen op universiteiten, zowel in de Verenigde Staten als daarbuiten.

Von Sternberg stierf op 75-jarige leeftijd aan de gevolgen van een hartaandoening.