Cresciuto a Cleveland e avviato al teatro per bambini del Cleveland Play House, ha cambiato cognome da Katz a Grey per superare gli ostacoli etnici e ha iniziato a Broadway con Borscht Capades, proseguendo con The Littlest Revue e opere di Neil Simon. Il suo ruolo più noto è l'Emcee di Cabaret, che gli ha fruttato il Tony nel 1966 e, nella versione filmata del 1972, l'Oscar, il BAFTA e il Golden G…
