Prije skandala koji će je pretvoriti u personu non grata, Ingrid Bergman bila je utjelovljenje svega što je Hollywood obožavao. Njezina prirodna ljepota, koju je odbila prilagoditi američkim standardima unatoč pritiscima, postala je njezin zaštitni znak. Svijet ju je slavio kao jednu od prvih "prirodnih glumica", a uloge u klasicima poput Casablance (1942.), za koju je stekla besmrtnu slavu, te u filmovima Plinsko svjetlo (1944.), za koji je osvojila svog prvog Oscara, i Ivana Orleanska (1948.) zacementirale su njezin imidž čedne, gotovo anđeoske figure.
U očima javnosti, ona nije imala mane. Za razliku od mnogih javnih ličnosti, imala je besprijekoran imidž bez mrlje, a bila je u sretnom braku sa suprugom, švedskim neurokirurgom Petterom Lindströmom i majka kćeri Pije.
Sve se promijenilo 1949. godine, kada je Bergman, opčinjena talijanskim neorealizmom, odlučila pisati redatelju čije je filmove duboko cijenila. Poslala je pismo Robertu Rosselliniju, čovjeku poznatom po svom umjetničkom geniju, ali i po reputaciji zavodnika. "Dragi gospodine Rossellini," napisala je, "ako trebate švedsku glumicu koja vrlo dobro govori engleski, nije zaboravila njemački, nije baš razumljiva na francuskom, a na talijanskom zna samo 'ti amo', spremna sam doći i snimiti film s vama." Rossellini je bio oduševljen i odmah joj je ponudio glavnu ulogu u svom novom filmu, Stromboli. Tijekom snimanja na istoimenom vulkanskom otoku, između njih se rodila strastvena veza, unatoč činjenici da su oboje bili u braku i imali djecu. Hollywoodske afere nisu bile rijetkost, no ova je bila drugačija.
Ono što je započelo kao filmska suradnja, uskoro je preraslo u međunarodni skandal epskih razmjera. Vijest o njihovoj vezi procurila je u javnost, no prava eksplozija dogodila se kada je otkriveno da je Ingrid Bergman trudna. Amerika je bila u šoku. Njihova svetica, žena koja je glumila časnu sestru i djevicu sveticu, nosila je dijete čovjeka koji nije bio njezin suprug. U trenu je postala meta moralne panike. Ponude za filmove su presušile, studiji su joj zatvorili vrata, a javnost koja ju je nekoć obožavala, sada ju je prezirala. "Ljudi su u meni vidjeli sveticu zbog Ivane Orleanske. Nisam svetica. Ja sam samo žena, ljudsko biće", izjavila je kasnije. U veljači 1950. rodila je sina Renata, a samo nekoliko mjeseci kasnije, nakon mučnog razvoda, udala se za Rossellinija i s njim dobila još dvije kćeri, blizanke Isottu i Isabellu, danas poznatu glumicu.
Posljedice su bile brze i brutalne. Konzervativna Amerika pedesetih godina nije praštala takvo nemoralno ponašanje. Vatikan ju je osudio, a voditelj najpopularnije televizijske emisije, Ed Sullivan, zabranio joj je gostovanje. Njezin bivši suprug, Petter Lindström, vodio je protiv nje osvetničku kampanju, što je rezultiralo bitkom za skrbništvo. Sud je presudio protiv nje, koristeći njezinu aferu i život u Italiji kao dokaz da je nepodobna majka. Zbog toga svoju kćer Piju nije vidjela punih sedam godina. Izopćena iz Hollywooda i odvojena od djeteta, Bergman je bila prisiljena ostati u Europi, živeći u nekoj vrsti profesionalnog i osobnog egzila.
Skandal je dosegao vrhunac kada se preselio s trač rubrika u američki Senat! Senator iz Colorada, Edwin C. Johnson, iskoristio je aferu za vlastitu političku promociju, javno osudivši glumicu. U svom je govoru Bergman nazvao "moćnim utjecajem zla" i "apostolom degradacije". Njegov bijes nije stao na riječima, već je predložio zakon kojim bi se glumcima i redateljima oduzimale licence na temelju njihovog "moralnog ugleda". Iako prijedlog nije prošao, šteta je bila učinjena. Ingrid Bergman postala je simbolom svega što je, prema mišljenju moralista, bilo pogrešno s Hollywoodom, a njezino ime sinonim za sramotu.
Nakon sedam godina provedenih u Europi, gdje je snimala filmove s Rossellinijem koji nisu postigli značajniji komercijalni uspjeh, činilo se da je njezina karijera zauvijek gotova. Međutim, 1956. godine stigla je ponuda koja će sve promijeniti. Produkcijska kuća 20th Century Fox, unatoč riziku, ponudila joj je glavnu ulogu u filmu Anastasia, priči o ženi koja tvrdi da je preživjela ruska princeza, u režiji Anatolea Litvaka. Iako je film sniman u Europi, bio je namijenjen američkom tržištu.
Stvari su se napokon okrenule u njenu korist, pa su skandal i dugogodišnje izbivanje samo povećali zanimanje publike. Film je postigao ogroman uspjeh, a njezina izvedba bila je toliko moćna da joj je donijela drugu nagradu Oscar za najbolju glumicu.
Ipak, Bergman je i dalje bila oprezna. Nije se usudila pojaviti na dodjeli Oscara u Hollywoodu, bojeći se reakcije javnosti. Nagradu je u njezino ime preuzeo njezin prijatelj, glumac Cary Grant, koji je s pozornice poslao dirljivu poruku: "Draga Ingrid, ako ovo možeš čuti ili vidjeti, želim da znaš da ti svi šaljemo svoju ljubav i divljenje." Bio je to trenutak iskupljenja. Hollywood ju je ponovno prihvatio. Njezina karijera oživjela je iz pepela, a u godinama koje su uslijedile osvojila je i trećeg Oscara za sporednu ulogu u filmu Ubojstvo u Orient Expressu (1974.). Godine 1972. američki Senat se i službeno ispričao za napade senatora Johnsona. Ingrid Bergman je, kako je sama rekla, prošla put "od svetice do kurve i natrag do svetice". Od Rossellinija rastala se 1957., i to zbog njegove nevjere.