De vader van Mercedes Ruehl was een agent bij de F.B.I.. De familie Ruehl verhuisde naar Silver Spring/Maryland nadat men had gewoond in achtereenvolgens Indiana, Pennsylvania en New Jersey. Mercedes Ruehl studeerde Engelse literatuur aan het Catholic College van New Rochelle en deed zoals zoveel actrices voor haar de eerste acteerervaring op in het lokale toneelcircuit.

Alleen was er (ook al zoals bij veel anderen...) meer dan dat. Ze probeerde hogerop te raken door mee te doen aan verschillende audities, het fungeren als model voor kledij, het werken in een telemarketing-bedrijf en het werken als dienster. De aanhouder wint bleek ook hier van toepassing want de (toneel)rollen die ze aangeboden kreeg wonnen na een tijd aan belangrijkheid. Zo won ze een Obie Award voor haar rol in het stuk The Marriage of Bette and Boo, later bereikte haar succes een hoogtepunt met het Broadway-stuk I'm Not Rappaport.
Het was deze rol die de springplank betekende naar de rol van Tom Hanks' moeder in Big en die van de possessieve maffia-echtgenote van Dean Stockwell in Married to the Mob van Jonathan Demme.

Een hoogtepunt in haar carrière situeerde zich anno 1991. In dat jaar kreeg Mercedes Ruehl zowel een Tony Award voor Lost in Yonkers als een Oscar (!) voor Beste actrice in een bijrol voor haar rol in The Fisher King.

Mercedes Ruehl woont in New York.