Als Sohn litauischer Juden, der in seiner Kindheit mit seiner Familie nach Südafrika auswanderte und nach dem Krieg nach Großbritannien zog, begann Harvey seine Schauspielausbildung kurzzeitig an der Royal Academy of Dramatic Art, bevor er das Studium verließ. Sein Durchbruch gelang ihm mit der Oscar-nominierten Hauptrolle in „Room at the Top“, woraufhin er in internationalen Produktionen wie „The…