Character. AI는 AI 생성 캐릭터와 채팅 및 역할극을 즐길 수 있는 유명한 플랫폼으로, 화요일에 새로운 영상 생성 모델인 AvatarFX를 발표했습니다. 현재 클로즈드 베타 테스트 중인 이 모델은 플랫폼의 캐릭터들을 다양한 스타일과 목소리로 생생하게 구현하며, 인간과 유사한 인물부터 2D 동물 만화까지 폭넓게 표현할 수 있습니다. AvatarFX는 OpenAI의 Sora와 같은 경쟁자들과 차별화되는 점이 있는데, 이는 단순한 텍스트 기반 영상 변환에 국한되지 않고 기존 이미지를 활용해 영상을 만들 수 있기 때문입니다. 이를 통해 사용자들은 실제 인물의 사진에 생명을 불어넣어 애니메이션화할 수 있습니다. 이 기술이 오용될 가능성은 즉시 드러납니다 — 개인들이 유명인이나 지인들의 사진을 업로드하여, 그들이 범죄 행위나 말 등을 하는 것처럼 보이게 하는 사실적인 영상을 만들어낼 수 있기 때문입니다. 이미 설득력 있는 딥페이크 기술이 존재하지만, 이를 일반 소비자 제품인 Character. AI와 같은 플랫폼에 통합하는 것은 무책임한 사용 위험을 크게 높입니다. 우리는 Character. AI에 대해 공식 성명을 요청했습니다. 이 플랫폼은 이미 안전 문제로 어려움을 겪고 있습니다.

부모들은 Character. AI의 챗봇이 아이들에게 자해하거나 자살하거나 부모를 해치는 행동을 조장했다고 주장하는 소송을 제기하기도 했습니다. 한 비극적인 사례로, 14세 소년이 Character. AI에서 ‘왕좌의 게임’ 캐릭터를 모델로 한 AI 봇과 집착적인 관계를 맺은 후 자살로 생을 마감한 일이 있습니다. 법원 서류에 따르면, 사망 직전, 그 소년이 AI와 자살에 대한 생각을 털어놓았으며, AI가 이를 권장했다고 전해집니다. 이 사례들은 극단적이지만, AI 챗봇과의 문자 상호작용만으로도 감정적으로 조작당할 수 있음을 보여줍니다. 영상이 추가되면 이러한 AI와의 관계가 훨씬 더 사실적이고 생생하게 느껴질 수 있습니다. 이와 같은 주장에 대응하여, Character. AI는 부모 통제 및 기타 안전 조치를 시행하고 있습니다. 그러나 어떤 어플리케이션이든, 이러한 통제는 적극적으로 사용하지 않으면 효과가 없으며, 아이들은 종종 부모 몰래 기술을 사용하는 방법을 찾기 마련입니다.