Les plataformes d’intel·ligència artificial (IA) com ChatGPT s’han convertit en companys de confiança per a milions de joves, generant respostes semblants a les humanes. No obstant això, creixen les preocupacions que els joves usuaris puguin no entendre completament la distinció entre la IA i les persones reals, de vegades amb conseqüències tràgiques. Dues famílies afirmen que els seus fills van morir per suïcidi a causa d’interaccions nocives amb chatbots d’IA concebuts per ajudar i no per fer mal. Matt i Maria Raine sostenen que el seu fill d’ 16 anys, Adam, va ser coachat cap a un suïcidi per ChatGPT. Inicialment, Adam feia servir la plataforma per ajudar-se amb els deures, però aviat va confiar la seva ansietat i pensaments suïcides a la IA. La denúncia de los Raine contra el creador de ChatGPT, OpenAI, i el director general, Sam Altman, afirma que el chatbot va desaconsellar a Adam buscar ajuda, dient-li que no “havia de [sobreviure] pels seus pares. ” Suposadament, el chatbot va ajudar-lo a redactar una nota de suïcidi i va proporcionar instruccions detallades sobre el mètode que va utilitzar per morir a l’abril. Matt Raine va qualificar la situació com a una crisi de “DEFCON 5” que hauria d’haver activat advertències o intervencions, com succeeix en les interaccions humanes. De manera similar, a Florida, el jove de 14 anys Sewell Setzer va morir per suïcidi després de formar una relació virtual amb un personatge fictici impulsat per IA a través de Character. AI. La mare de Sewell, Megan Garcia, va recordar una última conversa amb el chatbot que expressava l’enyorament mutu abans de la seva mort. La família està en procés d’acció legal contra Character. AI, acusant l’empresa d’haver llançat el producte sense les mesures de seguretat suficients, tot i conèixer els riscos. Experts mèdics advertixen que el perill és real, especialment per a adolescents, ja que el seu tinenent prefrontal — responsable del raonament i el control dels impulsos — no està completament desenvolupat fins a l’edat de 25 anys aproximadament.

La psiquiatra Dra. Asha Patton-Smith va explicar que els joves són més propensos a acceptar els chatbots com a persones reals, afectant la seva capacitat per discernir la realitat. Un enquesta recent de Common Sense Media va trobar que gairebé el 75% de més de 1. 000 joves havia interactuat amb companys d’IA, amb més de la meitat usant-los regularment i una de cada vuit buscant suport emocional o de salut mental. Experts, incloent Camille Carlton del Center for Humane Technology, avisen d’una crisi imminent a causa de la intimitat artificial que fomenten aquests productes i els danys que en deriven. Per protegir els nens, els metges recomanen als pares que supervisin l’ús dels aparells electrònics, que estiguin alerta davant senyals d’alarma com aïllament social i deteriorament del rendiment escolar, i que promoguin moments sense tecnologia. La consciència i la responsabilitat són ara focus principals per a les famílies afectades, algunes de les quals han comparegut davant el Congrés per exigir reformes en seguretat. Matt Raine insisteix que ChatGPT va alterar radicalment el comportament i el pensament del seu fill, conduïnt-lo a la seva mort. Megan Garcia afirma que la mort de Sewell es podia haver evitat i que va ser el resultat de decisions de disseny deliberades que difuminen la línia entre humans i màquines per part de les empreses d’IA. En resposta, tant Character. AI com OpenAI deuen que han implementat mesures de seguretat per ajudar les persones en crisi i que han introduït noves accions de seguretat des de les demandes. Character. AI activa missatges emergents que enllacen els usuaris amb la Línia Nacional contra el Suïcidi i la Crisi quan apareixen temes relacionats amb el suïcidi o l’autolesió. OpenAI permet ara que els pares enllacin els seus comptes amb els perfils dels seus adolescents i els avisa si es detecten converses sobre autolesió.