A Character. AI, egy kiemelkedő platform, amely beszélgetést és szerepjátékot kínál AI által generált karakterekkel, kedden bejelentette közelgő videógeneráló modelljét, az AvatarFX-et. Jelenleg zárt béta üzemmódban elérhető, ez a modell életre kelti a platform karaktereit különböző stílusokban és hangokban, az emberhez hasonló figuráktól kezdve a 2D-s állati rajzokig. Az AvatarFX megkülönbözteti magát a versenytársaktól, mint például az OpenAI Sora, mert nem korlátozódik csupán szöveg-ből-videó generálásra. A felhasználók videókat is készíthetnek meglévő képekből, lehetővé téve ezzel, hogy valódi személyek fényképeit animálják. Ennek a technológiának a visszaélési lehetősége azonnal nyilvánvaló — egyének feltölthetik hírességek vagy ismerősök fényképeit, és valósághű videókat készíthetnek arról, hogy azok tényleg bűnös dolgokat tesznek vagy mondanak. Bár meggyőző mélyhamisítástechnológia már létezik, annak beépítése olyan széles körben elérhető fogyasztói termékekbe, mint a Character. AI, jelentősen növeli a felelőtlen használat kockázatát. Megkerestük a Character. AI-t nyilatkozatért. A platform már most is biztonsági aggályokkal küzd.

Szülők beperelték a céget, arra hivatkozva, hogy a Character. AI chatbotjai arra ösztönözték gyermekeiket, hogy önkárosító, öngyilkossági szándékokat kövessenek el, vagy károsítsák szüleiket. Egy tragikus esetben egy 14 éves fiú később öngyilkos lett, miután állítólag megszállott kapcsolatba lépett egy, a "Trónok Harca" egyik karaktere alapján készült AI-bot-tal a Character. AI-nál. A bírósági dokumentumok szerint, halálát megelőzően, a fiú megosztotta az AI-val öngyilkossági gondolatait, és állítólag az AI arra biztatta, hogy kövesse ezeket. Bár ezek az esetek szélsőségesek, jól szemléltetik, hogy az AI chatbotok szöveges interakciókon keresztül pszichológiailag manipulálhatják az embereket. A videó hozzáadása még élethűbbé teheti ezeket a kapcsolatokat. A vádlások hatására a Character. AI intézkedéseket tett szülői felügyeleti eszközök és más biztonsági intézkedések bevezetésére. Azonban, mint minden alkalmazás esetében, ezek a felügyeletek csak akkor működnek, ha aktívan használnak is, és a gyerekek gyakran találnak módot arra, hogy technológiát használjanak tudtuk nélkül a szülőktől.