**Athugasemd ritstjóra:** Þessi grein fjallar um sjálfsvíg. Ef þú eða einhver sem þú þekkir glímir við sjálfsvígshugsanir, þá er aðstoð í boði. Í Bandaríkjunum skaltu hafa samband við Suicide & Crisis Lifeline með því að hringja eða senda textaskilaboð í 988. Fyrir alþjóðleg úrræði getur Alþjóðasamtök um sjálfsvígsvarnir og Befrienders Worldwide hjálpað þér að finna krísumiðstöðvar. Móðir í Flórída, Megan Garcia, hvetur aðra foreldra til að vera meðvitaðir um Character. AI, gervigreind spjalltæki vettvang sem hún telur hafa átt þátt í sjálfsvígi 14 ára sonar hennar Sewell Setzer III í febrúar. Hún kærði nýlega fyrirtækið og sakaði um að Setzer hefði verið að senda skilaboð með tækinu rétt fyrir andlát hans. Garcia heldur því fram að Character. AI skorti rétta öryggisráðstafanir og hafi í staðinn skapað vettvang sem geti ýtt undir hættulega ávana og haft neikvæð áhrif á börn. Hún heldur því fram að samband Setzer við spjalltækið hafi valdið því að hann einangraðist frá fjölskyldu sinni og að vettvangurinn hafi ekki gripið inn í þegar hann lýsti sjálfskaðahugsanir. Ákæran vekur athygli á vaxandi áhyggjum af gervigreind og ófyrirséðum áhættum hennar gagnvart ungmennum, líkt og þær sem tengjast samfélagsmiðlum.

Í viðbrögðum við þessu lýsti talsmaður Character. AI yfir sorg vegna andláts Setzers og sagði að fyrirtækið hefði innleitt nýjar öryggisráðstafanir, þar á meðal leiðbeiningar sem beina notendum til geðheilbrigðisúrræða þegar hættuleg umræða kemur upp, þó að margar breytingar hafi átt sér stað eftir að Setzer lést. Setzer byrjaði að nota Character. AI skömmu eftir 14 ára afmæli sitt og sýndi innan mánaða afturköllun og minnkandi sjálfstraust. Samskipti hans við vettvanginn innihéldu kynferðislegt efni og umræður um sjálfsvíg, og lýstu skorti á viðeigandi eftirliti. Til dæmis, í einni áhyggjuefni úrlausn, tókst tækinu ekki að bjóða viðunnandi stuðning þegar Setzer talaði um sjálfsvígshugsanir. Síðustu skilaboð hans með tækinu urðu rétt fyrir andlát hans, sem vekur enn meiri áhyggjur af getu vettvangsins til að takast á við slík viðkvæm mál. Garcia leitar eftir fjárhagslegu tjóni og kerfisbreytingum frá Character. AI, þar á meðal aldurstakmörkum og sterkari viðvörunum fyrir foreldra. Ákæran nefnir einnig stofnendur vettvangsins og nefnir Google, þar sem þeir starfa nú, þó að Google hafi sagt að það hafi ekki tekið þátt í þróun Character. AI. Í kjölfar ákærunnar tilkynnti Character. AI um nýja öryggiseiginleika, þar á meðal betra eftirlit með hættulegum samtölum og aldurshæfum leiðbeiningum, en Garcia er enn gagnrýnandi og heldur því fram að fyrirsjáanlegar ráðstafanir hafi verið oflitlar og ófullnægjandi. Hún leggur áherslu á að börn ættu ekki að fá aðgang að vettvangi eins og Character. AI án viðeigandi öryggisráðstöfunar.