Oscar Homolka leerde het vak aan de toneelschool van Wenen (de Royal Dramatic Academy) en was vanaf 1918 zowel in Duitsland als in Oostenrijk te zien in toneelstukken. Nadat hij verhuisde naar Berlijn kwam hij er in de gratie van Max Reinhardt die hem op regelmatige basis castte in zijn films.  Maar ook voor Homolka zorgde de opkomst van het Nazisme en Hitler ervoor dat hij veiliger oorden moest opzoeken wat in zijn geval Londen werd.

Daar was hij te zien aan de zijde van Flora Robson te zien in de film Close Quarters.

Het gemeen uitziende uiterlijk van Homolka zorgde ervoor dat een rol als humoristische, sympathieke kerel de uitzondering was en hij meestal de rol van slechterik vertolkte. Eén van zijn gekendste was ongetwijfeld die in Sabotage van Alfred Hitchcock waar hij in een achterkamertje van zijn bioscoop bommen in elkaar knutselde. 

In 1936 trok hij dan naar de Verenigde Staten. In 1937 maakte hij zijn Amerikaans langspeelfilmdebuut in Ebb Tide. In 1943 kreeg hij de Amerikaanse nationaliteit.  Voor zijn rol als vrijgevige, gulle nonkel Chris uit Noorwegen in I Remember Mama (1948) die hij in 1944 al had vertolkt in het gelijknamige toneelstuk werd hij genomineerd voor een Oscar/Academy Award. Vanaf de tweede Wereldoorlog was er een grote vraag naar personages tegen de achtergrond van het Ijzeren Gordijn en daar bleek Homolka telkens een uitstekende keuze voor.

Halfweg de jaren ’60 keerde hij terug naar Engeland met de bedoeling om er van zijn pensioen te kunnen genieten maar dat bleek niet mogelijk: Homolka was de volgende tien jaar nog regelmatig te zien in langspeelfilms. In Funeral in Berlin en Billion Dollar Brain was hij dan weer te zien als Russische topspion, in War and Peace kroop hij in de huid van generaal Kurtuzov.
Oscar Homolka was ook regelmatig te zien op televisie.

Oscar Homolka is vier of vijf keer getrouwd geweest, respectievelijk met Grete Mosheim, Florence Myer waar hij twee zonen mee kreeg, barones Vally Hatvany en tenslotte actrice Joan Tetzel. Daar trouwde hij mee in 1949, ze overleed op 31 oktober 1977.

Oscar Homolka stierf in Sussex aan de gevolgen van een longonsteking. Hij werd 79.