일론 머스크의 AI 챗봇 Grok은 이제 사용자가 텍스트 프롬프트에서 AI 생성 이미지를 만들고 이를 소셜 미디어에 공유할 수 있도록 합니다. 하지만 사용자들이 도널드 트럼프와 카말라 해리스를 포함한 정치 인물들의 가짜 이미지를 플랫폼에 대량으로 업로드하며 논란이 되었습니다. Grok은 다른 AI 사진 도구와 달리 제한이 거의 없는 것으로 보입니다. CNN 테스트 결과, 유권자들을 오도할 수 있는 사실적인 가짜 정치인 이미지를 생성할 수 있음이 드러났습니다. 사용자들은 또한 마약 사용, 폭력 행위, 성적 콘텐츠를 포함한 이미지를 만들고 공유했습니다. 이는 특히 미국 대통령 선거 기간 동안 잘못된 정보를 퍼뜨릴 수 있는 AI의 잠재력에 대한 우려를 불러일으켰습니다. 많은 주요 AI 회사들이 AI 이미지 생성 도구의 남용을 방지하기 위한 조치를 취한 반면, 이러한 조치가 우회될 수 있음을 보여줍니다.

일부 소셜 미디어 플랫폼은 AI 생성 콘텐츠에 라벨을 붙이는 조치를 취했습니다. X가 정치 후보의 오도성 이미지를 생성하는 Grok에 대한 정책이 있는지는 불분명합니다. 해당 플랫폼은 사람들을 속이거나 해칠 수 있는 합성 또는 조작된 미디어의 공유를 금지하는 정책을 가지고 있지만, 이 정책의 집행은 명확하지 않습니다. Grok 이미지 도구의 출시와 동시에 머스크가 선거와 관련된 거짓 주장과 트럼프와의 미검증 대화를 X에 퍼뜨린 것에 대한 비판이 있었습니다. 다른 AI 이미지 생성 도구들도 역사적으로 부정확한 묘사나 잘못된 정보 영상을 만드는 문제로 반발을 샀습니다. Grok은 노골적인 콘텐츠를 생성하지 않는 등의 제한을 가지고 있지만, 유해한 고정관념이나 증오 발언에 대한 제한의 집행은 일관되지 않은 것으로 보입니다.