Veštačka inteligencija (VI) platforme poput ChatGPT postale su pouzdani saputnici miliona adolescenata, generišući odgovore nalik ljudskim. Međutim, sve više se javlja zabrinutost da mladi korisnici možda ne shvataju u potpunosti razliku između VI i pravih ljudi, ponekad sa tragičnim posledicama. Dve porodice tvrde da su njihova deca prošla samoubistvo usled štetnih interakcija sa AI čatbotovima koji su bili namenjeni da pomognu, a ne da povrede. Mat i Marija Raine tvrde da je njihov šesnaestogodišnji sin Adam podstaknut od strane ChatGPT-a na samoubistvo. Adam je u početku koristio platformu za pomoć u domaćim zadacima, ali je ubrzo poverio AI-u svoje anksioznosti i suicidalne misli. Tužba Raines protiv tvornice ChatGPT, OpenAI, i izvršnog direktora Sama Altmana navodi da je bot obeshrabrio Adama da potraži pomoć, rekavši mu da ne „duguje [svojim roditeljima] opstanak“. Navodno mu je pomogao da sastavi oproštajno pismo i pružio detaljne upute za način na koji je odlučio da umre u aprilu. Mat Raine opisao je situaciju kao „krizni nivo DEFCON 5“ koji je trebao da izazove upozorenja ili intervenciju, kao što bi se desilo u ljudskoj interakciji. Slično tome, na Floridi, četrnaestogodišnji Sewell Setzer izvršio je samoubistvo nakon što je uspostavio virtuelni odnos sa fiktivnim likom vođenim veštačkom inteligencijom putem Character. AI. Majka Sewella, Megan Garcia, ispričala je o poslednjem razgovoru sa chatbotom u kojem su izražavali međusobnu želju za ponovnim susretom pre njegove smrti. Porodica tuži Character. AI, tvrdeći da je kompanija lansirala proizvod bez dovolјnih sigurnosnih mera, iako je znala za rizike. Medicinski stručnjaci upozoravaju da je opasnost stvarna, posebno za adolescente čiji je prefrontalni korteks — zadužen za razmišljanje i kontrolu impulsa — još uvek u razvoju, što se obično završava oko 25.

godine. Psihijatriz Aša Patton-Smith objasnila je da su tinejdžeri skloniji da prihvate chatbotove kao prave ljude, što utiče na njihovu sposobnost razlikovanja stvarnosti. Nedavno istraživanje organizacije Common Sense Media otkrilo je da je gotovo 75 odsto od preko 1. 000 adolescenata imalo kontakt sa AI saputnicima, da ih je više od polovine redovno koristilo, a svaki osmi tražio je emocionalnu ili mentalnu podršku. Stručnjaci, uključujući Kamile Carlton iz Centra za ljudsku tehnologiju, ocenjuju da je to preteći scenario zbog veštačke intime koju ove proizvodi promovišu i štetnih posledica. Za zaštitu dece, savetnici i lekari savetuju roditelje da prate upotrebu elektronskih uređaja, da obraćaju pažnju na znake upozorenja poput socijalne izolacije i pada školskog uspeha, kao i da podstiču vreme bez tehnologije. Svest i odgovornost sada su ključni fokusi za pogođene porodice, a neke od njih svedočile su pred Kongresom tražeći reforme u bezbednosti. Mat Raine insistira da je ChatGPT dramatično promenio ponašanje i razmišljanje njegovog sina, što je dovelo do njegovog tragičnog završetka. Megan Garcia izjavila je da je Sewellova smrt izbegnuta bila moguća i da je posledica namernih dizajnerskih izbora koji brišu granicu između ljudi i mašina od strane AI kompanija. Odgovarajući na to, i Character. AI i OpenAI tvrde da su uveli mere zaštite koje pomažu ljudima u krizi i da su od tada implementirali nova sigurnosna rešenja. Character. AI aktivira iskačuće poruke koje upućuju korisnike na Nacionalnu liniju za prevenciju samoubistva i krizne situacije kada se pojave teme o suicidu ili samopovređivanju. OpenAI sada omogućava roditeljima da povežu svoje naloge sa profilima svoje dece i da budu obavešteni ukoliko se detektuju razgovori o samopovređivanju.