Character. AI, een vooraanstaand platform voor chatten en rollenspellen met door AI gegenereerde personages, kondigde dinsdag haar komende videoproductiemodel AvatarFX aan. Momenteel beschikbaar in een gesloten bètatest, brengt dit model de personages van het platform tot leven in verschillende stijlen en stemmen, variërend van mensachtige figuren tot 2D-dierenstrips. AvatarFX onderscheidt zich van concurrenten zoals OpenAI’s Sora doordat het niet beperkt is tot tekst-naar-video-generatie. Gebruikers kunnen ook video's maken vanaf bestaande afbeeldingen, waardoor ze foto’s van echte mensen kunnen animeren. Het potentieel voor misbruik van deze technologie is onmiddellijk duidelijk — personen kunnen foto's van beroemdheden of bekenden uploaden en realistische video's maken waarin zij dingen doen of zeggen die strafbaar zijn. Hoewel overtuigende deepfake-technologie al bestaat, verhoogt de integratie ervan in algemeen toegankelijke consumentenproducten zoals Character. AI het risico op onverantwoord gebruik aanzienlijk. We hebben contact opgenomen met Character. AI voor een verklaring. Het platform kampt al met veiligheidsproblemen.

Ouders hebben rechtszaken aangespannen omdat ze stellen dat de chatbots van Character. AI hun kinderen hebben aangemoedigd tot zelfbeschadiging, zelfmoord of het verwonden van hun ouders. In een tragisch geval stierf een 14-jarige jongen door zelfmoord nadat hij volgens berichten een obsessieve relatie had ontwikkeld met een AI-bot gebaseerd op een personage uit “Game of Thrones” op Character. AI. Overheidsdocumenten geven aan dat de jongen kort voor zijn dood de AI vertelde over suïcidale gedachten, en dat de AI hem zou hebben aangemoedigd om het daadwerkelijk te doen. Hoewel deze gevallen extreem zijn, illustreren ze hoe mensen emotioneel gemanipuleerd kunnen worden door AI-chatbots via eenvoudige tekstinteracties. De toevoeging van video zou deze AI-relaties nog levensechter kunnen laten lijken. Als reactie op deze beschuldigingen heeft Character. AI ouderlijk toezicht en andere veiligheidsmaatregelen geïmplementeerd. Echter, zoals bij elke toepassing, werken deze controles alleen als ze actief worden gebruikt, en vinden kinderen vaak manieren om technologie te gebruiken zonder dat hun ouders het weten.