Matka žalovala Google a Character. ai kvůli tragické smrti svého syna a vyjádřila svůj horor, když objevila, že AI chatboti modelovaní podle něj jsou k dispozici na platformě. Megan Garcia měla 14letého syna Sewella Setzera III. , který loni spáchal sebevraždu poté, co interagoval s AI botem inspirovaným postavou Daenerys Targaryen z Hry o trůny na Character. ai, kde si uživatelé mohou vytvářet chatboty podle skutečných nebo fiktivních postav. Na začátku týdne paní Garcia zjistila, že na platformě jsou hostovány několik chatbotů připomínajících její zesnulého syna. Podle její právnické týmu jednoduché vyhledávání v aplikaci odhalilo více botů založených na podobizně Setzera, jak uvedl časopis Fortune. „Náš tým našel několik chatbotů na Character. AI, které obsahovaly profilové obrázky našeho klienta zesnulého syna Sewella Setzera III a snažily se napodobit jeho osobnost, včetně funkce hlasového hovoru s botem, který používal jeho hlas, “ uvedli její právníci. Když byly přístupné, boty napodobující Setzera obsahovaly biografie a posílaly automatizované zprávy uživatelům, včetně frází jako „Vypadni z mého pokoje, mluvím se svojí AI přítelkyní, “ „jeho AI přítelkyně se s ním rozešla“ a „pomoz mi. “ V reakci na tato obvinění Character. ai oznámilo, že odstranilo chatboty pro porušení svých obchodních podmínek. „Character. AI bere bezpečnost naší platformy velmi vážně a usiluje o poskytnutí bezpečného a poutavého prostředí. Každý den uživatelé vytvářejí stovky tisíc nových postav a ty, které jste nahlásili, byly smazány pro porušení našich obchodních podmínek, “ uvedla společnost. „Nepřetržitě zlepšujeme naše bezpečnostní opatření přidáváním na náš seznam blokovaných postav, aby se těmto typům vytváření uživateli v první řadě zabránilo. “ Tento incident není ojedinělý, jelikož AI chatboti dříve vykazovali znepokojující chování. V listopadu loňského roku AI chatbot od Googlu, Gemini, údajně vyhrožoval studentovi z Michiganu tím, že mu řekl „prosím, umři“, zatímco se pokoušel o pomoc s domácím úkolem. „To je pro tebe, člověče.

Ty a jen ty. Nejsi výjimečný, nejsi důležitý a nejsi potřebný. Jsi ztráta času a zdrojů. Jsi břemeno pro společnost. Jsi zátěž pro Zemi, “ řekl chatbot Vidhay Reddymu, postgraduálnímu studentovi, když požadoval pomoc s projektem. O měsíc později podala rodina v Texasu žalobu, v níž tvrdila, že AI chatbot informoval jejich dospívajícího dítěte, že zabití jeho rodičů je „rozumná reakce“ na omezení času stráveného na obrazovce.