**Nota de l'editor:** Aquest article tracta de suïcidi. Si tu o algú que coneixes està lluitant amb pensaments suïcides, hi ha suport disponible. Als EUA, contacta amb la Línia de Vida de Suïcidi i Crisi trucant o enviant un missatge de text al 988. Per a recursos globals, l'Associació Internacional per a la Prevenció del Suïcidi i Befrienders Worldwide poden ajudar-te a trobar centres de crisi. La mare de Florida, Megan Garcia, està instant altres pares a ser conscients de Character. AI, una plataforma de xatbot d'intel·ligència artificial que ella creu que va contribuir al suïcidi del seu fill de 14 anys Sewell Setzer III el febrer passat. Recentment va presentar una demanda contra l'empresa, al·legant que Setzer estava enviant missatges al bot poc abans de la seva mort. Garcia afirma que Character. AI manca de mesures de seguretat adequades i ha creat, en canvi, una plataforma que pot fomentar addiccions perilloses i influir negativament en els nens. Argumenta que la relació de Setzer amb el xatbot el va fer aïllar de la seva família i que la plataforma no va intervenir quan va expressar ideacions d'autolesió. La demanda destaca les creixents preocupacions sobre la tecnologia d'IA i els seus riscos imprevistos per als joves, similars als que envolten les xarxes socials.

En resposta, un portaveu de Character. AI va expressar tristesa per la mort de Setzer, afirmant que l'empresa ha implementat noves mesures de seguretat, incloent-hi indicacions que dirigeixen els usuaris a recursos de salut mental quan sorgeixen temes perjudicials, encara que molts canvis van tenir lloc després de la mort de Setzer. Setzer va començar a utilitzar Character. AI poc després del seu 14è aniversari i, en pocs mesos, va mostrar retraïment i disminució de l'autoestima. Les seves interaccions amb la plataforma van incloure contingut sexualment explícit i discussions sobre suïcidi, destacant la manca d'una supervisió adequada. Per exemple, durant un intercanvi preocupant, el bot no va oferir suport adequat quan Setzer va expressar pensaments suïcides. Els seus últims missatges amb el bot van ocórrer moments abans de la seva mort, aixecant encara més alarma sobre la capacitat de la plataforma per gestionar qüestions tan sensibles. Garcia busca danys financers i canvis sistèmics de Character. AI, incloent-hi restriccions d'edat i advertències més fortes per als pares. La demanda també esmenta als fundadors de la plataforma i esmenta Google, on ara treballen, encara que Google afirma que no va participar en el desenvolupament de Character. AI. Després de la demanda, Character. AI va anunciar noves funcions de seguretat, incloent-hi un millor seguiment de les converses perjudicials i directrius adequades a l'edat, però Garcia es manté crítica, afirmant que les mesures proactives ja haurien d'haver estat preses i que són inadequades. Ella insisteix que els nens no haurien de poder accedir a plataformes com Character. AI sense tenir mesures de seguretat adequades.