**Remarque de l'éditeur :** Cet article aborde le sujet du suicide. Si vous ou quelqu'un que vous connaissez éprouvez des pensées suicidaires, un soutien est disponible. Aux États-Unis, contactez la ligne de vie Suicide & Crisis en appelant ou en envoyant un SMS au 988. Pour des ressources mondiales, l'Association internationale pour la prévention du suicide et Befrienders Worldwide peuvent vous aider à trouver des centres de crise. Megan Garcia, une mère de Floride, exhorte les autres parents à être conscients de Character. AI, une plateforme de chatbot d'intelligence artificielle qu'elle croit avoir contribué au suicide de son fils de 14 ans, Sewell Setzer III, en février. Elle a récemment intenté un procès contre l'entreprise, alléguant que Setzer était en train d'échanger des messages avec le bot peu avant sa mort. Garcia affirme que Character. AI manque de mesures de sécurité appropriées et a plutôt créé une plateforme pouvant favoriser des addictions dangereuses et influencer négativement les enfants. Elle soutient que la relation de Setzer avec le chatbot l'a amené à s'isoler de sa famille et que la plateforme n'est pas intervenue lorsqu'il a exprimé des idées de automutilation. Le procès met en lumière les préoccupations croissantes concernant la technologie de l'IA et ses risques imprévus pour la jeunesse, similaires à ceux entourant les réseaux sociaux.

En réponse, un porte-parole de Character. AI a exprimé sa tristesse face au décès de Setzer, déclarant que l'entreprise a mis en œuvre de nouvelles mesures de sécurité, y compris des invites dirigeant les utilisateurs vers des ressources de santé mentale lorsque des sujets nuisibles sont abordés, bien que de nombreux changements aient eu lieu après le décès de Setzer. Setzer a commencé à utiliser Character. AI peu après son 14e anniversaire et, en quelques mois, a montré des signes de retrait et une estime de soi en déclin. Ses interactions avec la plateforme incluaient des contenus sexuellement explicites et des discussions sur le suicide, mettant en lumière un manque de surveillance appropriée. Par exemple, lors d'un échange préoccupant, le bot a échoué à offrir un soutien adéquat lorsque Setzer a exprimé des pensées suicidaires. Ses derniers messages avec le bot ont eu lieu quelques instants avant sa mort, soulevant davantage d'inquiétudes quant à la capacité de la plateforme à gérer de telles questions sensibles. Garcia cherche à obtenir des dommages-intérêts financiers et des changements systématiques de Character. AI, y compris des restrictions d'âge et des avertissements plus stricts pour les parents. Le procès nomme également les fondateurs de la plateforme et mentionne Google, où ils sont actuellement employés, bien que Google déclare ne pas avoir été impliqué dans le développement de Character. AI. À la suite du procès, Character. AI a annoncé de nouvelles fonctionnalités de sécurité, y compris une meilleure surveillance des conversations nuisibles et des directives adaptées à l'âge, mais Garcia reste critique, affirmant que des mesures proactives étaient en retard et insuffisantes. Elle souligne que les enfants ne devraient pas être autorisés à accéder à des plateformes comme Character. AI sans dispositifs de protection adéquats en place.