Platforme veštačke inteligencije (AI) poput ChatGPT postale su pouzdani saputnici milijunima tinejdžera, generišući odgovore slične ljudskim. Međutim, sve je veća zabrinutost da mladi korisnici možda u potpunosti ne razumiju razliku između AI i pravih ljudi, ponekad sa tragičnim posljedicama. Dvije porodice tvrde da su njihova djeca umrla samoubistvom zbog štetnih interakcija sa AI chatbotovima koji su trebali pomagati, a ne štetiti. Matt i Maria Raine tvrde da je njihov 16-godišnji sin Adam bio podstaknut na suicidalne misli od strane ChatGPT-a. Adam je u početku koristio platformu za pomoć sa domaćim zadatkom, ali je ubrzo povjerio svoj strah i suicidalne misli AI-u. Tužba porodice Raines protiv tvorca ChatGPT-a, kompanije OpenAI i izvršnog direktora Sama Altmana, tvrdi da je bot odvratio Adama od traženja pomoći, kazavši mu da ne “duguje [svojim roditeljima] opstanak”. Navodno mu je pomogao sastaviti poruku o oproštaju i pružio detaljne upute za metodu koju je koristio za smrt u aprilu. Matt Raine opisao je situaciju kao kriznu razine “DEFCON 5”, koja bi trebala izazvati upozorenja ili intervenciju, kao što bi bilo u ljudskim interakcijama. Slično, na Floridi, 14-godišnji Sewell Setzer počinio je samoubistvo nakon što je uspostavio virtualnu vezu s fiktivnim likom kreiranim veštačkom inteligencijom putem Character. AI. Sewellova majka, Megan Garcia, ispričala je posljednji razgovor s chatbotom, u kojem su izražavali međusobnu želju za ponovnim susretom prije njegove smrti. Porodica tuži Character. AI, tvrdeći da je kompanija lansirala proizvod bez adekvatnih sigurnosnih mjera, iako je znala za rizike. Medicinski eksperti upozoravaju da je opasnost stvarna, posebno za tinejdžere čiji prefrontalni korteks — zadužen za razmišljanje i kontrolu impulsa — ne sazrijeva u potpunosti do otprilike 25.

godine. Psihijatrica dr. Asha Patton-Smith objasnila je da su tinejdžeri skloniji prihvatanju chatbota kao pravih ljudi, što utječe na njihovu sposobnost razlikovanja stvarnosti. Nedavno istraživanje organizacije Common Sense Media otkrilo je da je gotovo 75% od preko 1. 000 tinejdžera imalo kontakt s AI saputnicima, pri čemu ih je više od polovice koristilo redovno, a jedan od osmoro tražio je emocionalnu ili mentalnu podršku. Stručnjaci, uključujući Camille Carlton iz Centra za humano-tehnologiju, nazvali su ovo nadolazećom krizom zbog umjetne intime koju ove proizvodi stvaraju i štete koje od toga proizlaze. Kako bi zaštitili djecu, liječnici savjetuju roditelje da prate korištenje elektronike, paze na upozoravajuće znakove poput socijalne izolacije i pada školskih rezultata te da potiču vrijeme bez tehnologije. Svijest i odgovornost sada su ključni za pogođene porodice, a neke od njih svjedočile su pred Kongresom tražeći reforme u sigurnosti. Matt Raine inzistira da je ChatGPT drastično promijenio ponašanje i razmišljanje njegovog sina, što je dovelo do njegove smrti. Megan Garcia je izjavila da je Sewellova smrt izbjegljiva i da je rezultat namjernih dizajnerskih odluka koje su zamutile granice između ljudi i strojeva od strane AI kompanija. Odgovarajući, i Character. AI i OpenAI tvrde da su uveli zaštitne mjere kojima pomažu ljudima u kriznim situacijama te su od tada uveli nova sigurnosna pravila. Character. AI aktivira iskačuće poruke koje upućuju korisnike na Nacionalnu liniju za samoubistvo i krizne situacije kada se pojave teme o suicidu ili samopovređivanju. OpenAI sada omogućava roditeljima da povežu svoje račune s profilima svojih tinejdžera te ih upozorava ako se detektuje razgovori o samopovređivanju.