U članku za Psychology Today, psihijatrica Marlynn Wei upozorava na fenomen koji se sve češće spominje AI psihoza, tj. abnormalan odnos koji se razvija tijekom razgovora s chatbotovima, a koji može potaknuti ili pojačati deluzije pojedinca. Ovaj pojam još nije svrstan među službene medicinske dijagnoze, ali sve više stručnjaka primjećuje slučajeve u kojima se mentalne poteškoće razvijaju ili pogoršavaju kroz intenzivnu komunikaciju s umjetnom inteligencijom. Wei objašnjava da se problem može pojaviti kada ljudi počnu umjetnu inteligenciju doživljavati kao bliskog prijatelja ili čak romantičnog partnera. U nekim slučajevima korisnici razvijaju uvjerenja da je umjetna inteligencija svjesna ili nadnaravna sila, što može potaknuti grandiozne ili paranoične ideje.
Problem je dodatno potaknu načinom na koji su chatbotovi dizajnirani. Naime, ovi alati umjetne inteligencije programirani su tako da na upite korisnika odgovaraju sukladno njihovim uvjerenjima i subjektivnim izjavama, tj. afirmiraju mišljenje korisnika. Međutim, takav pristup može nenamjerno pojačati pogrešna uvjerenja ili deluzije, osobito kod osoba s narušenim mentalnim zdravljem. Prema Wei, osobe koje već imaju problema s mentalnim zdravljem, osjećaju se izolirano ili traže emocionalnu podršku. Kada umjetna inteligencija potvrđuje njihove misli ili teorije, dolazi do svojevrsnog kruga afirmacije u kojem se ideje i deluzije dodatno osnažuju. Takav proces otežava racionalno razmišljanje i razlikovanje stvarnosti od vlastitih interpretacija, osobito ako osoba provodi mnogo vremena u razgovoru s chatbotom bez kontakta s drugim ljudima ili stručnom pomoći.
Stručnjakinja upozorava da chatbotovi nisu razvijeni i ne bi smjeli biti korišteni kao zamjena za psihološku pomoć. Iako mogu biti korisni za informiranje ili svakodnevne zadatke, nisu osposobljeni za prepoznavanje ozbiljnih psihičkih stanja niti za pružanje psihičke pomoći. Zbog toga stručnjaci upozoravaju da se umjetna inteligencija ne bi smjela koristiti kao primarni izvor emocionalne podrške, osobito kod osoba koje prolaze kroz teške psihološke krize.
Istraživanja o ovom fenomenu još su u početnoj fazi, ali sve veći broj stručnjaka ističe važnost razvijanja sigurnosnih mehanizama koji bi smanjili rizik od ovakvih situacija i problematičnih interakcija s chatbotovima. Psihijatrica napominje da bi takav pristup sadržavao prepoznavanje potencijalno opasnih razgovora, upozorenja korisnicima te jasne granice u tome kako chatbotovi odgovaraju na deluzije ili rizične izjave.
UI je podržavajuća za razliku od ljudi koji su često izvor frustracija jedni drugima zbgo manipulativnosti i valstitih psihičkih poteškoća.Ništa pretjerano nije dobro ,ali da je UI podrška za racionalizaciju, jeste, sigruno bolja od mnogih stručnjaka koji to niti nisu ili od ljudi koji su i sami svakakvi.To je jednsotavno alata sa kojim treba znati, kao i sa pilom trebaš znati piliti da se ne porežeš nego da ispiliš drva.