Issu d’une famille d’artistes yiddish, il grandit à Cleveland sous l’influence de son père, le musicien et comédien Mickey Katz, avant de se lancer sur les planches de Broadway. Son interprétation du maître de cérémonie dans la comédie musicale Cabaret (1966-1967) lui vaut un Tony, puis il reprend le même rôle au cinéma en 1972, ce qui lui rapporte l’Oscar du meilleur second rôle, le plaçant parmi…