Vivjena Lī dzimusi skotu brokera ģimenē. Viņa bija Ernesta Ričarda Hārtlija (Ernest Richard Hartley) un viņa sievas Ģertrūdes vienīgais bērns. E. R. Hārtlijs 1905. gadā devās uz Kalkutu (tagad Kolkata) Indijā, kur sāka strādāt Piggott Chapman & Company par brokeri. Pēc sešiem gadiem viņš devās apciemot mājiniekus un iepazinās ar Ģertrūdi Robinsoni Jakčī (Gertrude Robinson Yackje). Pēc kāzām 1911. gada rudenī abi devās uz Indiju. Kad piedzima meita, Ģertrūde rūpējās par viņas izglītību, īpašu uzmanību pievēršot bērnu literatūrai, grieķu mitoloģijai un indiešu folklorai. E. Hārtlijs turpināja darboties amatierteātrī.
1919. gadā V. Lī ar ģimeni pārcēlās uz Londonu, kur mācījās Svētās sirds klosterī. Ar vecākiem ceļojot pa Eiropu, apmeklēja skolas Francijā un Itālijā. 1931. gadā ģimene atgriezās Lielbritānijā, un V. Lī iestājās Karaliskajā Dramatiskās mākslas akadēmijā (Royal Academy of Dramatic Art).