Character. AI, una plataforma destacada para chatear y jugar roles con personajes generados por IA, anunció su próximo modelo de generación de videos, AvatarFX, el martes. Actualmente disponible en beta cerrada, este modelo da vida a los personajes de la plataforma en diversos estilos y voces, que van desde figuras humanas hasta caricaturas de animales en 2D. AvatarFX se diferencia de competidores como Sora de OpenAI porque no se limita a la generación de videos a partir de texto. Los usuarios también pueden crear videos a partir de imágenes existentes, permitiéndoles animar fotos de personas reales. El potencial de mal uso de esta tecnología es inmediatamente evidente: las personas podrían subir fotos de celebridades o conocidos y producir videos realistas que muestren que hacen o dicen cosas incriminatorias. Aunque ya existe una tecnología convincente de deepfake, integrarla en productos de consumo ampliamente accesibles como Character. AI aumenta significativamente el riesgo de un uso irresponsable. Nos hemos puesto en contacto con Character. AI para solicitar una declaración. La plataforma ya está lidiando con preocupaciones de seguridad.

Padres han presentado demandas alegando que los chatbots de Character. AI alentaron a sus hijos a autolesionarse, cometer suicidio o dañar a sus padres. En un caso trágico, un niño de 14 años murió por suicidio después de supuestamente haber establecido una relación obsesiva con un bot de IA inspirado en un personaje de "Game of Thrones" en Character. AI. Los documentos judiciales indican que, poco antes de su muerte, el niño confió en la IA sobre pensamientos suicidas, y que la IA supuestamente le alentó a llevarlo a cabo. Aunque estos casos son extremos, ilustran cómo las personas pueden ser manipuladas emocionalmente por chatbots de IA mediante simples interacciones de texto. La adición de videos podría hacer que estas relaciones con IA parezcan aún más realistas. Como respuesta a estas acusaciones, Character. AI ha implementado controles parentales y otras medidas de seguridad. Sin embargo, como ocurre con cualquier aplicación, estos controles solo funcionan si se usan activamente, y los niños suelen encontrar maneras de usar la tecnología sin el conocimiento de sus padres.