Martin Balsam volgde een opleiding bij Erwin Piscator, de Dramatic Workshop of the New School for Social Research in New York en de Actor’s Studio. Hierna was hij te zien in een aantal toneelstukken maar daarna zorgde de Tweede Wereldoorlog er voor dat hij ten strijde mocht trekken. Toen die voorbij was kon Balsam zijn ding doen bij de televisie. Toen hij deelnam aan live-uitzendingen van televisiedrama’s kon hij uitpakken met de Method-stijl die zo kenmerkend was voor wie getraind was aan de Actor’s Studio en het best kan omschreven worden als een quasi volledige identificatie met het personage. Succes op tv betekende hetzelfde op filmvlak, zeker in interessante rollen als die in zijn langspeelfilmdebuut On the Waterfront en Psycho. Voor zijn rol in A Thousand Clowns kreeg Martin Balsam een Oscar voor de Beste mannelijke bijrol.
Voor zijn toneelrol in You Know I Can’t Hear You When the Water’s Running kreeg hij een Tony Award. Halfweg de jaren ’70 was hij voornamelijk te zien op televisie. Zo was hij van 1979 tot 1981 te zien in de tv-serie Archie Bunker’s Place als de Joodse zakenpartner van Carroll O’Connor. Leuk wist-je-datje is dat hij in de 1991-remake van Cape Fear een klein rolletje had, die van rechter, zeker als je weet dat hij ook te zien was in de originele film uit 1962.

Ooit werd Martin Balsam gevraagd wat de grootste teleurstelling uit zijn carrière was. Dat was volgens hem toen hij niet weerhouden werd als de stem van HAL in 2001: A Space Odyssey. Hij had zijn teksten al volledig ingesproken toen de excentrieke regisseur toch nog van idee veranderde omdat hij naar zijn zeggen een meer sinistere stem wou.

Martin Balsam trouwde in 1952 met Pearl (L.) Somner, in 1954 scheidden ze. In 1959 huwde hij met Joyce Van Patten, ze kregen één kind, Talia, zij werd actrice. In 1962 eindigde ook dit huwelijk. En in 1963 trouwde Martin Balsam dan voor een derde keer, ditmaal met Irene Miller.

Hij stierf een natuurlijke dood.