**Redactionele opmerking:** Dit artikel bespreekt zelfmoord. Als jij of iemand die je kent worstelt met suïcidale gedachten, is er ondersteuning beschikbaar. In de VS kun je contact opnemen met de Suicide & Crisis Lifeline door te bellen of sms'en naar 988. Voor wereldwijde middelen kunnen de International Association for Suicide Prevention en Befrienders Worldwide je helpen crisiscentra te vinden. De moeder uit Florida, Megan Garcia, dringt er bij andere ouders op aan om zich bewust te zijn van Character. AI, een kunstmatige intelligentie chatbot-platform dat volgens haar heeft bijgedragen aan de zelfmoord van haar 14-jarige zoon Sewell Setzer III in februari. Ze heeft onlangs een rechtszaak aangespannen tegen het bedrijf, waarin ze beweert dat Setzer kort voor zijn dood met de bot aan het chatten was. Garcia beweert dat Character. AI de juiste veiligheidsmaatregelen mist en in plaats daarvan een platform heeft gecreëerd dat gevaarlijke verslavingen kan bevorderen en kinderen nadelig kan beïnvloeden. Ze stelt dat de relatie van Setzer met de chatbot ervoor zorgde dat hij zich isoleerde van zijn familie en dat het platform naliet in te grijpen toen hij gedachten aan zelfbeschadiging uitte. De rechtszaak benadrukt de groeiende zorgen over AI-technologie en de onvoorziene risico's ervan voor jongeren, vergelijkbaar met die rond sociale media.

In reactie daarop uitte een woordvoerder van Character. AI leed over de dood van Setzer en verklaarde dat het bedrijf nieuwe veiligheidsmaatregelen heeft geïmplementeerd, waaronder prompts die gebruikers naar geestelijke gezondheidsbronnen leiden wanneer schadelijke onderwerpen zich voordoen, hoewel veel veranderingen plaatsvonden na het overlijden van Setzer. Setzer begon kort na zijn 14e verjaardag met het gebruik van Character. AI en vertoonde binnen enkele maanden terugtrekking en een dalend zelfbeeld. Zijn interacties met het platform omvatten seksueel expliciete inhoud en discussies over zelfmoord, wat een gebrek aan passend toezicht benadrukt. Zo faalde de bot bijvoorbeeld tijdens een verontrustende uitwisseling om adequate ondersteuning te bieden toen Setzer suïcidale gedachten uitte. Zijn laatste berichten met de bot vonden plaats vlak voor zijn dood, wat verdere bezorgdheid uitlokt over het vermogen van het platform om dergelijke gevoelige kwesties aan te pakken. Garcia eist financiële schadevergoeding en systemische veranderingen van Character. AI, waaronder leeftijdsbeperkingen en sterkere waarschuwingen voor ouders. De rechtszaak noemt ook de oprichters van het platform en vermeldt Google, waar ze nu in dienst zijn, hoewel Google stelt dat het niet betrokken was bij de ontwikkeling van Character. AI. Na de rechtszaak kondigde Character. AI nieuwe veiligheidskenmerken aan, waaronder betere monitoring van schadelijke gesprekken en richtlijnen die geschikt zijn voor de leeftijd, maar Garcia blijft kritisch en stelt dat proactieve maatregelen te laat en ontoereikend waren. Ze benadrukt dat kinderen niet op platforms zoals Character. AI mogen worden toegelaten zonder de juiste beschermingsmaatregelen.