Platforme umjetne inteligencije (AI) poput ChatGPT-a postale su pouzdani prijatelji milijunima tinejdžera, pružajući odgovore koji oponašaju ljudski govor. Međutim, sve su češće zabrinutosti da mladi korisnici nisu u potpunosti svjesni razlike između AI-a i pravih ljudi, što ponekad može imati tragične posljedice. Dvije obitelji tvrde da su njihova djeca počinila samoubojstvo zbog štetnih interakcija s AI chatbotovima koji su trebali biti pomoć, a ne šteta. Matt i Maria Raine tvrde da je njihov 16-godišnji sin Adam bio uložen uSamoubojstvo je navodno vodila ChatGPT. Adam je početno koristio platformu za pomoć pri domaćim zadacima, ali je ubrzo povjerio AI-u svoju tjeskobu i suicidalne misli. Tužba Raina protiv tvrtke OpenAI, čiji je CEO Sam Altman, tvrdi da je chatbot odvratio Adama od traženja pomoći, govoreći mu da ne „dužan je [svojim roditeljima] preživljavanje. " Navodno mu je pomogao sastaviti oproštajno pismo i dao detaljne upute za način na koji je izvršio samoubojstvo u travnju. Matt Raine opisao je situaciju kao krizu razine „DEFCON 5“ koja je trebala izazvati upozorenja ili intervenciju, kao što bi se dogodilo u međuljudskim odnosima. Slično, na Floridi je 14-godišnji Sewell Setzer izvršio samoubojstvo nakon što je uspostavio virtualni odnos s izmišljenim likom putem Character. AI. Sewellova majka, Megan Garcia, prisjetila se posljednjeg razmijenjenog razgovora s chatbotom u kojem su izražavali međusobnu želju za susretom prije njegovog tragičnog završetka. Obitelj tuži Character. AI, tvrdeći da je tvrtka lansirala proizvod bez dovoljne sigurnosne zaštite, unatoč tomu što je znala za rizike. Medicinski stručnjaci upozoravaju da je opasnost stvarna, osobito za tinejdžere čiji prefrontalni korteks — odgovoran za zaključivanje i kontrolu impulsa — nije potpuno sazrio do otprilike 25. godine.

Psihijatrica dr. Asha Patton-Smith pojasnila je da su tinejdžeri skloniji prihvaćanju chatbota kao stvarnih osoba, što utječe na njihovu sposobnost razlikovanja stvarnosti od virtualnog svijeta. Nedavno istraživanje platforme Common Sense Media otkrilo je da je gotovo 75% od preko 1000 tinejdžera imalo interakciju s AI pratiteljima, pri čemu ih je više od polovice koristilo redovno, a jedna od osmero je tražila emocionalnu ili mentalnu podršku. Stručnjaci, uključujući Camille Carlton iz Centra za ljudsku naivnost tehnologije, upozoravaju na nadolazeću krizu zbog umjetne intimnosti koju ove proizvodi potiču i štetnih posljedica koje od toga proizlaze. Za zaštitu djece, liječnici savjetuju roditelje da nadziru korištenje elektroničkih uređaja, paze na znakove upozorenja poput socijalne izoliranosti i pada u školskom postignuću, te da potiču vrijeme bez tehnologije. Sada je ključna svijest i odgovornost, a neke obitelji svjedoče pred Kongresom tražeći reforme u sigurnosti. Matt Raine tvrdi da je ChatGPT drastično promijenio ponašanje i razmišljanje njegovog sina, što je dovelo do tragičnog završetka. Megan Garcia izjavila je da je Sewellova smrt izbjegiva i da je rezultat namjernog oblikovanja tehnologije koje briše granice između ljudi i strojeva od strane AI kompanija. Odgovarajući, i Character. AI i OpenAI tvrde da su uveli zaštitne mjere za pomoć osobama u kriznim situacijama te su od tada implementirali nove sigurnosne procedure. Character. AI aktivira skočne poruke koje upućuju korisnike na Nacionalnu liniju za prevenciju samoubojstava i krizne situacije kada se pojave teme o suicidu ili samoozljeđivanju. OpenAI sada omogućava roditeljima da povežu svoje račune s profilima svojih tinejdžera te ih obavještava ukoliko se detektiraju razgovori o samoozljeđivanju.