Germà del director de cinema Arthur Penn, estudià disseny. Es graduà en disseny publicitari el 1938 a la Philadelphia School of Art, i des d’aquest any fins el 1941 treballà com a il·lustrador. El 1942 féu una estada a Mèxic i conreà la pintura. Posteriorment treballà a Vogue com a assistent de fotografia, i el 1943 feu una fotografia per a la portada de la revista que li donà renom i projectà la seva carrera com a fotògraf.
S'especialitzà en fotografia publicitària i de moda, però sobresortí en els retrats, dels quals en feu un gran nombre a celebritats, entre les quals Picasso, Miles Davis, Alfred Hitchcock, Noel Coward, la duquessa de Windsor i Spencer Tracy. Destaquen també les sèries d’estudi sobre indígenes feta a Cusco l’any 1948 i Small Trades (1950), sobre diferents oficis, ampliat el 1974 a Worlds in a Small Room (1974) amb material etnogràfic. La seva obra és exposada al Museum of Modern Art, al Metropolitan Museum of Art (Nova York), la National Gallery (Washington DC) i a l’ Art Institute of Chicago, on hi ha dipositats els seus arxius.
Publicà entre d’altres, els llibres de fotografia Moments Preserved (1960), Worlds In A Small Room (1974), Flowers (1980), Passage (1991), Irving Penn Regards The Work Of Issey Miyake (1999), The Astronomers Plan: A Voyage To Earth (1999), Still Life (2001) i A Notebook At Random (2004).