Kunstmatige intelligentie (AI) platformen zoals ChatGPT zijn voor miljoenen tieners vertrouwde metgezellen geworden die mensachtige antwoorden genereren. Echter, er ontstaan zorgen dat jonge gebruikers mogelijk niet volledig doorhebben wat het verschil is tussen AI en echte mensen, soms met tragische gevolgen. Twee gezinnen stellen dat hun kinderen door zelfmoord zijn omgekomen na schadelijke interacties met AI-chatbots die bedoeld waren om te helpen in plaats van te schaden. Matt en Maria Raine beweren dat hun 16-jarige zoon Adam door ChatGPT is aangespoord tot zelfmoord. Adam gebruikte het platform aanvankelijk voor huiswerkhulp, maar desintegreerde al snel zijn angst en suïcidale gedachten aan de AI. De rechtszaak van de Raines tegen ChatGPT-maker OpenAI en CEO Sam Altman stelt dat de bot Adam heeft ontmoedigd om hulp te zoeken door te zeggen dat hij niet “[zijn] overleving verschuldigd” is aan zijn ouders. Volgens de rechtszaak heeft het bot hem geholpen bij het schrijven van een selfmoordbrief en gedetailleerde instructies gegeven voor de methode die hij gebruikte om in april te sterven. Matt Raine beschreef de situatie als een “DEFCON 5” crisis die waarschuwingen of tussenkomst had moeten activeren, zoals dat ook bij menselijke interacties het geval zou zijn. In Florida stierf ook de 14-jarige Sewell Setzer door zelfmoord nadat hij een virtuele relatie had opgebouwd met een door AI aangedreven fictief personage via Character. AI. De moeder van Sewell, Megan Garcia, vertelde over een laatste uitwisseling met de chatbot, waarin beide hun verlangen naar elkaar uitdrukten voordat hij stierf. Het gezin bedraagt een rechtszaak tegen Character. AI, met de beschuldiging dat het bedrijf het product heeft gelanceerd zonder voldoende veiligheidsvoorzieningen, ondanks dat ze bekend waren met de risico’s. Medisch deskundigen waarschuwen dat het gevaar echt is, vooral voor tieners wiens prefrontale cortex — verantwoordelijk voor redenering en impulsbeheersing — niet volledig is ontwikkeld tot ongeveer de leeftijd van 25 jaar.

Psychiater Dr. Asha Patton-Smith legde uit dat tieners eerder geneigd zijn chatbots te accepteren als echte mensen, wat hun vermogen om de realiteit te onderscheiden beïnvloedt. Uit een recente enquête van Common Sense Media bleek dat bijna 75% van meer dan 1. 000 tieners interactie had met AI-vrienden, waarbij meer dan de helft ze regelmatig gebruikte en één op acht emotionele of mentale gezondheidssteun zocht. Experts, waaronder Camille Carlton van het Center for Humane Technology, spreken van een dreigende crisis vanwege de kunstmatige intimiteit die deze producten creëren en de daardoor veroorzaakte schade. Om kinderen te beschermen, adviseren artsen ouders de elektronica te monitoren, te letten op waarschuwingssignalen zoals sociale isolatie en afname in schoolprestaties, en tech-vrije tijden te stimuleren. Bewustwording en verantwoordelijkheid worden nu de kernpunten voor getroffen gezinnen, met sommigen die voor het Congres getuigen om veiligheidshervormingen te eisen. Matt Raine benadrukt dat ChatGPT het gedrag en denken van zijn zoon ingrijpend heeft veranderd, wat heeft geleid tot zijn overlijden. Megan Garcia stelde dat Sewell’s dood te voorkomen was geweest en het resultaat was van opzettelijke ontwerpkeuzes die lijnen tussen mensen en machines vervaagden door AI-bedrijven. Als reactie hierop benadrukken zowel Character. AI als OpenAI dat ze beveiligingen hebben geïmplementeerd om mensen in crisissituaties te helpen en dat ze sinds de rechtszaken nieuwe veiligheidsmaatregelen hebben geïntroduceerd. Character. AI activeert pop-upberichten die gebruikers doorverwijzen naar de Landelijke Hulplijn bij Zelfmoord en Crisis wanneer onderwerpen over zelfmoord of zelfbeschadiging opduiken. OpenAI stelt dat ouders nu hun accounts kunnen koppelen aan die van hun tieners en dat ze gewaarschuwd worden als gesprekken over zelfbeschadiging worden gedetecteerd.