Arthur Penn, iemand met Russisch-Joodse roots, was al sterk geïnteresseerd in toneel toen hij nog op de middelbare school zat. Hij richtte zelf een toneelgroepje op in Fort Jackson (South Carolina) in de periode dat hij zijn dienstplicht vervulde bij de Amerikaanse infanterie tijdens de Tweede Wereldoorlog. Later sloot hij zich als acteur aan bij het toneelbedrijf van Joshua Logan maar ondertussen zette hij zijn opleiding verder aan het Black Mountain College in Ashville North Carolina en de Italiaanse Universiteiten van Perugia en Firenze. Arthur Penn volgde daarenboven ook een opleiding aan de gekende Actor’s Studio in Los Angeles en bij Michael Chekhov maar ging verrassend genoeg in 1951 toch aan de slag als hoofd van de technische afdeling bij NBC (tv). In 1951 werd Penn gevraagd een bijdrage te leveren voor de Colgate Comedy Hour op tv. Fred Coe, iemand die hij nog kende uit zijn legertijd, vroeg hem om de dramaserie Gulf Playhouse: First Person te regisseren, iets waar Penn ook op in ging. In de jaren '50 bleef Penn werken voor televisie. Vanaf 1953 ging hij stukken voor televisie schrijven die hij ook zelf regisseerde. Binnen de twee jaar begon hij met het schrijven van televisiedrama’s en regisseerde hij toneelstukken voor de Philco Playhouse en later voor Playhouse 90.

In 1955 trouwde de filmmaker met actrice Peggy Maurer die later actief zou worden in het domein van de familietherapie. Hun zoon Matthew werd acteur.

In 1954 regisseerde hij niet alleen Blue Denim, in 1957 Two for the Seesaw, één van de stukken die later op Broadway zou vertoond worden, maar ook zijn eerste film, The Left-Handed Gun, gebaseerd op het tv-stuk van Gore Vidal. Dat was een opmerkelijke psychologische western én karakterstudie waarin Billy the Kid centraal stond maar commercieel werd de film een flop ondanks het feit dat de film de Grote Prijs won op het Filmfestival van Brussel.
Nog meer Broadway-werk was er in de vorm van The Miracle Worker (1959) waar hij een Tony Award voor kreeg, Toys in the Attic (1960) en All the Way Home (1960). Het heeft bijna vier jaar geduurd voor Penn van zijn Broadway-succes The Miracle Worker een film kon maken. Zowel Anne Bancroft als Patty Duke kregen voor hun rol een Oscar. In 1963 kreeg Arthur Penn de kans om The Train te regisseren maar hij werd na enkele draaidagen van de film gehaald en vervangen door John Frankenheimer.

Nadat hij in 1964 Golden Boy met Sammy Davis Jr. had geregisseerd kende Penn opnieuw een terugval in zijn carrière door de film Mickey One (1965). Nochtans was de film een onderschatte studie rond paranoia die op die manier wel zijn vroeger werk onder de aandacht bracht bij bepaalde critici. In de film slaat een komiek uit een nachtclub op de vlucht voor gangsters.

The Chase (1966) met Marlon Brando zorgde voor gemengde reacties maar zijn volgende film Bonnie and Clyde werd een absolute voltreffer. De film, volgens velen een mijlpaal in de Amerikaanse filmgeschiedenis, etaleerde niet alleen op een bijzondere manier Penns bijzondere talenten als regisseur maar legde ook de focus op thema’s die in zijn vroegere films aan bod kwamen. De film kreeg heel wat kritiek omwille van de manier waarop het brutale geweld in beeld werd gebracht, Arthur Penn wou hiermee aangeven dat geweld gewoon een onderdeel is van de menselijke natuur. Velen zien deze film ook als de meest relevante langspeelfilm van dat toch wel tumultueuze decennium. De acteerprestaties van zowel Warren Beatty als Faye Dunaway waren van het allerhoogste niveau maar bewezen ook dat Arthur Penn een regisseur was die mensen boven zichzelf kon doen uitstijgen. Technisch bekeken was de slow motion moordscène er één die later door zowel Amerikaanse als buitenlandse filmmakers nog meermaals geïmiteerd zou worden.

De helden in Ross’ films weken af van wat gebruikelijk was in Hollywood: Bonnie en Clyde, Billy the Kid, Little Big Man die de blanke maatschappij aan de indianen overlaat maar ook Helen Keller, iemand die door haar handicap/doofheid niet in de mogelijkheid is om een normaal leven te leiden. Maar in alle vermelde gevallen vochten de vermelde personages op één of andere manier terug.

In 1969 werd Alice’s Restaurant dan uitgebracht, een film die in het begin een satirisch maar naar het einde toe melancholisch beeld bracht van de hippiebeweging. Daarna keerde Penn met Little Big Man, gebaseerd op het boek van Thomas Berger, filmmatig terug naar het verleden én het Amerikaanse Westen met centraal daarin de strijd tussen pioniers en indianen met als absolute climax de eindstrijd van opperbevelhebber Custer in de omgeving van de Little Bighorn, bij Amerikanen beter gekend als Custer’s last stand. Het verhaal wordt in flashbacks verteld door Dustin Hoffman, een 121 jaar oude man (!) die beweert de enige blanke overlevende te zijn van de finale veldslag.

Pas na een onderbreking van ongeveer vijf jaar kwam Penn terug met de thriller Night Moves (1975), een moderne thriller over een privédetective in Los Angeles. Met The Missouri Breaks keerde Penn nog eens terug naar het verleden.

Arthur Penn heeft ondanks zijn talent relatief weinig films gemaakt. De periode van 1965 tot 1970 was de enige waarin hij onafgebroken aan het werk was wat resulteerde in bijna één film per jaar. In 1982 leek zijn carrière op de terugweg of zelfs voorbij maar toen werd Four Friends alsnog uitgebracht.

Zijn broer is de beroemde fotograaf Irving Penn.