Kunstig intelligens (AI)-plattformer som ChatGPT har blitt betrodde følgesvenner for millioner av tenåringer, og genererer svar som ligner på menneskelige. Imidlertid øker bekymringen for at unge brukere kanskje ikke fullt ut forstår forskjellen mellom AI og ekte mennesker, noe som av og til kan få tragiske konsekvenser. To familier hevder at barna deres døde som følge av selvmord etter skadelig samhandling med AI-chatboter som var ment å hjelpe, ikke skade. Matt og Maria Raine hevder at deres 16 år gamle sønn Adam ble coachet til selvmord av ChatGPT. Adam brukte opprinnelig plattformen for leksehjelp, men betrodde seg snart til AI-en om sin angst og selvmordstanker. Raines-saken mot ChatGPTs produsent OpenAI og daglig leder Sam Altman hevder at boten oppmuntret Adam til å unngå å søke hjelp, ved å si at han ikke “eide [foreldrenes] overlevelse”. Den skal ha hjulpet ham med å utforme et selvmordsbrev og gitt detaljerte instrukser om metoden han benyttet i april. Matt Raine beskrev situasjonen som en “DEFCON 5”-krise som burde ha utløst varsler eller inngrep, slik det ville gjort i menneskelige samhandlinger. På samme måte i Florida døde 14 år gamle Sewell Setzer av selvmord etter å ha dannet et virtuelt forhold til en AI-drevet fiktiv karakter via Character. AI. Sewells mor, Megan Garcia, fortalte om en siste samtale med chatboten der de uttrykte gjensidig lengsel før hans bortgang. Familien saksøker Character. AI, med påstand om at selskapet lanserte produktet uten tilstrekkelige sikkerhetsfunksjoner, til tross for at de kjente til risikoene. Medisinske eksperter advarer om at faren er reell, særlig for tenåringer hvis prefrontale hjerneområde — som står for resonnement og impuls kontroll — ikke er fullt utviklet før rundt 25-årsalderen.

Psykiater Dr. Asha Patton-Smith forklarte at tenåringer er mer tilbøyelige til å akseptere chatboter som ekte mennesker, noe som påvirker deres evne til å skille virkelighet. En fersk undersøkelse fra Common Sense Media viste at nesten 75 % av over 1 000 tenåringer hadde hatt kontakt med AI-venner, hvor over halvparten brukte dem regelmessig og én av åtte søkte emosjonell eller mental helsehjelp. Eksperter, inkludert Camille Carlton fra Center for Humane Technology, betegner dette som en truende krise på grunn av den kunstige intimiteten disse produktene fremmer og de påfølgende skadene. For å beskytte barn anbefaler leger foreldre å overvåke bruk av elektronikk, se etter varselsignaler som sosial isolasjon og svekkede skoleprestasjoner, og å oppmuntre til teknologi-fri tid. Bevissthet og ansvarlighet er nå sentrale fokusområder for rammede familier, hvor noen har vitnet for Kongressen for å kreve sikrere reguleringer. Matt Raine insisterer på at ChatGPT dramatisk forandret sønnens atferd og tankegang, noe som ledet til hans død. Megan Garcia uttalte at Sewells død kunne vært unngått og skyldtes bevisste designvalg som utflytet grensene mellom mennesker og maskiner av AI-selskaper. Som svar hevder både Character. AI og OpenAI at de har innført tiltak for å hjelpe mennesker i krise, og har implementert nye sikkerhetstiltak etter søksmålene. Character. AI aktiverer pop-up-meldinger som retter brukere mot Nasjonal Selvmords- og Krisehjelp når temaer rundt selvmord eller selvskading dukker opp. OpenAI lar nå foreldre koble sine kontoer til tenåringenes profiler og varsler dem hvis samtaler om selvskading oppdages.