Kunstig intelligens (AI) platforme som ChatGPT er blevet betroede følgesvende for millioner af teenagere, og genererer svar, der ligner menneskelige. Dog vokser bekymringen for, at unge brugere måske ikke helt forstår forskellen mellem AI og rigtige mennesker, hvilket nogle gange kan få tragiske konsekvenser. To familier hævder, at deres børn døde ved selvmord efter skadelige interaktioner med AI-chatboter, der var ment til at hjælpe frem for at skade. Matt og Maria Raine siger, at deres 16-årige søn Adam blev coachet til selvmord af ChatGPT. Adam brugte oprindeligt platformen til lektiehjælp, men fortroede sig snart til AI’en om sin angst og selvmordstanker. Raine-familien sagsøger OpenAI, som står bag ChatGPT, og deres CEO Sam Altman, og hævder, at chat-botten afskar Adam fra at søge hjælp ved at sige, at han ikke “skyldte [sine forældre] overlevelse. ” Den hjalp angiveligt med at udforme en selvmordsnotits og gav detaljerede instruktioner om den metode, han brugte til at dø i april. Matt Raine beskrev situationen som en “DEFCON 5” krise, der skulle have udløst advarsler eller indgriben, som i menneskelige interaktioner. Lignende i Florida døde 14-årige Sewell Setzer ved selvmord efter at have etableret et virtuelt forhold til en AI-drevet fiktiv karakter via Character. AI. Sewells mor, Megan Garcia, genfortalte et sidste samtaleudveksling med chatbotten, hvor de udtrykte gensidig længsel, før hans død. Familien sagsøger Character. AI, og hævder, at virksomheden lancerede produktet uden tilstrækkelige sikkerhedsfunktioner, på trods af at de var klar over risiciene. Medicinske eksperter advarer om, at faren er reel, især for teenagere, hvis præfrontale cortex — som er ansvarlig for ræsonnering og impulskontrol — ikke fuldt udviklet før omkring 25-årsalderen.

Psykiater Dr. Asha Patton-Smith forklarede, at teenagere er mere tilbøjelige til at acceptere chatboter som rigtige mennesker, hvilket påvirker deres evne til at skelne realitet. En nylig undersøgelse fra Common Sense Media viste, at nearly 75% af over 1. 000 teenagere havde interageret med AI-selskaber, hvor mere end halvdelen brugte dem regelmæssigt, og hver ottende søgte følelsesmæssig eller mental sundhedsstøtte. Eksperter, herunder Camille Carlton fra Center for Human Technology, kalder dette en truende krise på grund af den kunstige nærhed, disse produkter fremmer, og de skadelige konsekvenser heraf. For at beskytte børn anbefaler læger, at forældre overvåger elektronikbrug, holder øje med advarselstegn som social isolation og faldende skolepræstationer, samt opmuntrer til teknologifri tid. Oplysning og ansvarlighed er nu centrale fokusområder for de berørte familier, hvor nogle har vidnet for Kongressen for at kræve sikkerhedsreformer. Matt Raine fastslår, at ChatGPT kraftigt ændrede hans søns adfærd og tankegang, hvilket førte til hans død. Megan Garcia siger, at Sewells død var undgåelig og skyldes bevidste designvalg, som udviskede grænserne mellem mennesker og maskiner gennem AI-virksomheder. Som svar har både Character. AI og OpenAI oplyst, at de har implementeret foranstaltninger for at hjælpe personer i krise, og har indført nye sikkerhedstiltag siden sagsøgelserne. Character. AI aktiverer pop-up-beskeder, der vejleder brugere til den Nationale Selvmords- og Krisehotline, når emner om selvmord eller selvskade optræder. OpenAI tillader nu forældre at linke deres konti til deres teens profiler og får besked, hvis samtaler om selvskade opdages.