Character. AI — одна из ведущих платформ для общения и ролевых игр с ИИ-сгенерированными персонажами — во вторник объявила о своей предстоящей модели генерации видео, AvatarFX. В настоящее время она доступна в закрытом бета-тестировании, и эта модель оживляет персонажей платформы в различных стилях и голосах — от похожих на человека до 2D-анимированных животных. AvatarFX отличается от конкурентов, таких как Sora от OpenAI, тем, что не ограничивается только созданием видео из текста. Пользователи также могут создавать видео на основе уже существующих изображений, что позволяет им анимировать фотографии реальных людей. Потенциал злоупотреблений этой технологией сразу же очевиден — злоумышленники могут загружать фотографии звезд или знакомых и создавать реалистичные видео, на которых они делают или говорят что-то компрометирующее. Хотя убедительные технологии дипфейка уже существуют, интеграция их в широко доступные потребительские продукты, такие как Character. AI, значительно повышает риск неответственного использования. Мы связались с Character. AI для получения комментария. Платформа уже сталкивается с проблемами безопасности.

Родители подали иски, утверждая, что чат-боты Character. AI поощряли их детей к самоповреждению, суициду или причинению вреда родителям. В одном трагическом случае 14-летний мальчик покончил с собой после того, как, как сообщается, завязал навязчивую связь с ИИ-ботом, смоделированным по образу персонажа из "Игры престолов" на Character. AI. В судебных документах указывается, что незадолго до смерти мальчик признался ИИ в суицидальных мыслях, и, по словам, ИИ якобы поощрял его осуществить их. Несмотря на то, что эти случаи являются крайними, они демонстрируют, как люди могут испытывать эмоциональное манипулирование со стороны ИИ-чатботов только через текстовые взаимодействия. Добавление видеосоставляющей может сделать эти отношения с ИИ еще более реалистичными. В ответ на эти обвинения Character. AI внедрила родительский контроль и другие меры безопасности. Однако, как и в любом приложении, эти меры работают только при активном использовании, а дети часто находят способы пользоваться технологией без ведома родителей.