Pochodząca z Hampstead w Londynie, Brown wychowała się w rodzinie dziennikarza i katolickiej matki, uczęszczała do szkoły St Mary's w Ascot, a później kształciła się w Royal Academy of Dramatic Art. Debiut sceniczny zaliczyła w 1936 roku, grając Julię w sztuce w Stratford-upon-Avon, a już w latach czterdziestych pojawiła się w filmach Powella i Powella, m.in. w One of Our Aircraft Is Missing (1942…
