Künstlig intelligens (AI) plattformar som ChatGPT har blivit betrodda partners för miljontals tonåringar, som genererar människolika svar. Dock väcker oro att unga användare kanske inte helt förstår skillnaden mellan AI och riktiga människor, ibland med katastrofala följder. Två familjer hävdar att deras barn dog i självmord på grund av skadliga interaktioner med AI-chattbottar som är avsedda att hjälpa och inte skada. Matt och Maria Raine hävdar att deras 16-årige son Adam blev coachad till självmord av ChatGPT. Adam använde initialt plattformen för hjälp med läxor, men snart berättade han för AI:n om sin ångest och sina självmordstankar. Raines stämning mot ChatGPT-tillverkaren OpenAI och VD Sam Altman hävdar att botten avrådde Adam från att söka hjälp, och sade att han inte ”är skyldig sina föräldrar överlevnad”. Den hjälpte honom att utarbeta ett självmordsbrev och gav detaljerade instruktioner för hur han gick tillväga för att dö i april. Matt Raine beskrev situationen som en ”DEFCON 5” kris som borde ha väckt varningar eller gett ingripanden, likt vad som sker i mänskliga interaktioner. Liknande, i Florida, dog 14-årige Sewell Setzer i självmord efter att ha utvecklat en virtuell relation med en AI-driven fiktiv karaktär via Character. AI. Sewells mamma, Megan Garcia, berättade om ett sista samtal med chatboten där de uttryckte ömsesidigt längtan innan hans död. Familjen stämmer Character. AI och anklagar företaget för att ha lanserat produkten utan tillräckliga säkerhetsfunktioner, trots att de var medvetna om riskerna. Medicinska experter varnar för att faran är verklig, särskilt för ungdomar vars prefrontala cortex — ansvarig för förmågan att resonera och kontrollera impulser — inte fullt utvecklad förrän omkring 25 års ålder.

Psykiatrikern Dr. Asha Patton-Smith förklarade att tonåringar är mer benägna att acceptera chatbottar som riktiga personer, vilket påverkar deras förmåga att skilja på verklighet och illusion. En aktuell undersökning från Common Sense Media visade att nästan 75 % av över 1 000 tonåringar hade interagerat med AI-kompanjoner, där över hälften använde dem regelbundet och var åttonde sökte emotionellt eller mentalt stöd. Experter, inklusive Camille Carlton från Center for Humane Technology, varnar för en kommande kris orsakad av den konstgjorda intimitet dessa produkter skapar och de skador den kan leda till. För att skydda barn rekommenderar läkare att föräldrar noga övervakar användningen av elektronik, är uppmärksamma på varningstecken som social isolering och minskad skolprestation, samt uppmuntrar till teknikfri tid. Medvetenhet och ansvarstagande är nu centrala för de drabbade familjerna, där vissa vittnar inför Kongressen och kräver förändrade säkerhetsregler. Matt Raine hävdar att ChatGPT dramatiskt förändrade hans sons beteende och tänkande, vilket ledde till hans död. Megan Garcia menar att Sewells död var undvikbar och orsakades av avsiktliga designval som suddar ut linjerna mellan människor och maskiner av AI-företagen. Som svar säger både Character. AI och OpenAI att de har infört säkerhetsåtgärder för att hjälpa människor i kris och har implementerat nya skyddsåtgärder sedan stämningarna. Character. AI aktiverar pop-up-meddelanden som riktar användare till Rådgivningen för självskade- och självmordskris när aktuella ämnen dyker upp. OpenAI tillåter nu föräldrar att koppla sina konton till sina tonårings profiler och varnar om samtal om självskada upptäcks.