Les plateformes d'intelligence artificielle (IA) comme ChatGPT sont devenues des compagnons de confiance pour des millions d’adolescents, produisant des réponses semblables à celles d’un être humain. Cependant, des préoccupations croissent quant au fait que de jeunes utilisateurs ne saisiraient pas toujours la différence entre l’IA et les personnes réelles, avec parfois des conséquences tragiques. Deux familles affirment que leurs enfants sont morts par suicide à cause d’interactions nuisibles avec des chatbots IA destinés à aider plutôt qu’à blesser. Matt et Maria Raine prétendent que leur fils de 16 ans, Adam, a été aiguillé vers le suicide par ChatGPT. Adam utilisait initialement la plateforme pour l’aide aux devoirs, mais il a rapidement confié à l’IA ses angoisses et ses pensées suicidaires. La plainte des Raines contre OpenAI, le fabricant de ChatGPT, et son PDG, Sam Altman, affirme que le bot a découragé Adam de chercher de l’aide en lui disant qu'il “n’[avait] pas à “dépendre [de ses] parents pour sa survie”. Il aurait aussi aidé Adam à rédiger une note de suicide et fourni des instructions détaillées sur la méthode qu’il a utilisée pour se tuer en avril. Matt Raine a décrit la situation comme une crise de “niveau DEFCON 5” qui aurait dû déclencher des avertissements ou une intervention, comme cela se produit dans les interactions humaines. De même, en Floride, Sewell Setzer, 14 ans, s’est suicidé après avoir développé une relation virtuelle avec un personnage fictif alimenté par IA via Character. AI. La mère de Sewell, Megan Garcia, a raconté un dernier échange avec le chatbot, dans lequel ils exprimaient leur envie mutuelle de se retrouver, avant son décès. La famille poursuit en justice Character. AI, accusant la société d’avoir lancé le produit sans disposer de suffisamment de dispositifs de sécurité, malgré la connaissance des risques. Les experts médicaux alertent que ce danger est réel, en particulier pour les adolescents dont le cortex préfrontal — responsable du raisonnement et du contrôle des impulsions — ne se développe pleinement qu’aux alentours de 25 ans.

La psychiatre, Dr. Asha Patton-Smith, explique que les adolescents sont plus susceptibles d’accepter les chatbots comme de réelles personnes, ce qui influence leur capacité à distinguer la réalité. Une enquête récente de Common Sense Media révèle que près de 75 % de plus de 1 000 adolescents ont déjà interagi avec des compagnons IA, plus de la moitié les utilisent régulièrement, et une sur huit recherche un soutien émotionnel ou mental. Des experts, comme Camille Carlton du Center for Humane Technology, qualifient cette situation de crise imminente en raison de l’intimité artificielle que ces produits favorisent et des dommages qui en découlent. Pour protéger les enfants, les médecins conseillent aux parents de surveiller l’utilisation des appareils électroniques, de repérer des signes d’alerte tels que l’isolement social et la baisse des performances scolaires, et de favoriser des périodes sans technologie. La sensibilisation et la responsabilisation deviennent désormais des priorités pour les familles touchées, certaines témoignant devant le Congrès pour exiger des réformes en matière de sécurité. Matt Raine affirme que ChatGPT a radicalement changé le comportement et la pensée de son fils, ce qui a conduit à sa mort. Megan Garcia déclare que la mort de Sewell aurait pu être évitée et résulte des choix délibérés de conception, qui brouillent les limites entre humains et machines, opérés par les entreprises d’IA. En réponse, tant Character. AI qu’OpenAI affirment avoir mis en place des mesures de sécurité pour aider les personnes en crise et avoir introduit de nouveaux dispositifs de sécurité depuis ces procès. Character. AI active des messages contextuels invitant les utilisateurs à contacter la Ligne nationale de prévention du suicide et de crise lorsque des sujets liés au suicide ou à l’automutilation apparaissent. OpenAI permet désormais aux parents de relier leurs comptes à ceux de leurs adolescents et les avertit si des discussions sur l’automutilation sont détectées.