با حمله متفقین به ایران و تبعید «رضاشاه»، «شمس پهلوی» و شوهرش «فریدون جم» به همراه «فاطمه پهلوی» و برادرهایش در معیت رضاخان به جزیره «موریس» در اقیانوس هند رفتند و «اشرف» به همراه شوهرش در تهران ماند. رفتن پدر و اشتغالات برادرش در کارهای مملکتی موجب شد اشرف از آزادی عمل بیشتری در ارتباط با مردان برخوردار باشد.
در آن زمان کشور در اختیار نیروهای متفقین قرار گرفت و نیروهای نظامی آمریکا و شوروی و انگلیس کشور را به تسخیر خود درآوردند. «حسین فردوست» اوضاع تهران را بدین‌گونه توصیف می‌کند: «وضع این 3 نیرو (انگلیس، شوروی و آمریکا) از نظر برخورد و رفت و آمد با مردم متفاوت بود... در تهران نیروهای شوروی در انظار عمومی دیده نمی‌شدند... انگلیسی‌ها نیز کمتر دیده می‌شدند و غالباً در باشگاه‌های خود بودند. ولی وضع آمریکایی‌ها به کلی متفاوت بود. آنها در خیابان امیرآباد یک باشگاه داشتند که ویژه افسران و درجه‌داران‌شان بود. روزانه به هر کدام یک بسته‌ای به عنوان جیره غذایی می‌دادند که هر بسته برای مصرف 6-5 نفر کافی بود.
در هر یک از این بسته‌ها انواع و اقسام کنسروها، انواع نان ویتامینی که باید روزانه مصرف می‌کردند، 2 بطری ویسکی و
2 بسته سیگار خوب بود. آمریکایی‌ها به سرعت باشگاه امیرآباد را به مرکز فحشا تبدیل کردند.
کامیون‌های آمریکایی به مرکز شهر می‌آمدند و دخترها را جمع می‌کردند و به باشگاه می‌بردند. دخترهایی که به این اوضاع تمایل داشتند، صف می‌کشیدند و منتظر می‌ماندند. مثل اینکه در صف اتوبوس هستند. کامیون‌های روباز ارتش آمریکایی می‌آمد و 300-200 دختر را سوار می‌کرد و می‌برد. آمریکایی‌ها هر چند پول نداشتند، ولی با همین بسته‌ها دخترها را راضی می‌کردند. من با یکی از کسانی که به باشگاه می‌رفت آشنایی داشتم و دیدم که انبار خانه او تا زیر سقف از این بسته‌ها چیده شده است. هر روز که می‌رفتند یک یا 2 بسته می‌گرفتند. این بسته‌ها قیمت گرانی داشت و خرید و فروش می‌شد. یکی از کسانی که با آمریکایی‌ها رفت و آمد داشت، خاله محمدرضا بود که اکنون شاه ایران شده بود...».
اشرف پهلوی هم در شمار زنان و دخترانی بود که بی‌پروا به باشگاه آمریکایی‌ها می‌رفت و با سربازان آمریکایی رابطه برقرار می‌کرد. خودش در این‌باره می‌نویسد:
«در اولین سال‌های پس از رفتن پدرم به تبعید، تغییرات مهمی در زندگی من ایجاد شد. با وجود آنکه ما در دوره‌ای پر از اضطراب زندگی می‌کردیم، حضور این همه خارجی در تهران سبب شده بود که این سال‌ها برای من به صورت دوره‌ای برای کشف و شناخت چیزهای تازه درآید. شهر تهران فعالیت و جنب و جوش بیشتری پیدا کرده و در پیرامون ما، طنین موسیقی و زبان‌های گوناگون به گوش می‌رسید. افکار و عادات و رسوم خارجی کم‌کم شروع به خودنمایی می‌کرد، با وجود آنکه من آدم محتاطی هستم و در آن زمان با عده معدودی روابط خصوصی داشتم، بی‌اندازه کنجکاو بودم بدانم دیگران چگونه زندگی می‌کنند و افکار و احساسات آنان چیست؟ با از بین رفتن کنترل شدیدی که پدرم نسبت به ما اعمال می‌کرد و در شرایط حاد و پرفراز و نشیب دوران جنگ، من آزاد بودم که برنامه روزانه‌ام را آن طوری که خودم می‌خواستم تنظیم کنم... با در نظر گرفتن شیفتگی خاصی که به فرهنگ غربی پیدا کرده بودم، هنگامی که شنیدم... سربازان آمریکایی به پایگاه امیرآباد خواهند آمد، نتوانستم جلوی خودم را بگیرم... دلم می‌خواست یک شب را بدون دردسر و دور از تشریفات رسمی در چنین مجلسی بگذرانم. از این رو... [به صورت ناشناس] به امیرآباد می‌رفتم... رابطه سربازان آمریکایی نسبتاً گرم و دوستانه بود...».
فردوست در رابطه با فساد اخلاقى و بى‌بند‌وبارى اشرف پهلوی چنین مىگوید: «پس از رفتن رضاشاه، اشرف بى‌بندوباری و فساد کم‌مانندى را شروع کرد. تهیه فهرست مردانى که در دوران 37 ساله سلطنت محمدرضا پهلوی با اشرف رابطه داشتند، بسیار دشوار و غیرممکن است، چون حتى خود او نیز نمی‌تواند همه آنها را به یاد آورد، مسلما لیست طویلى خواهد شد...».