AI-genererede lyd- og videoplatforme udvikler sig hurtigt og finder anvendelse inden for forskellige områder, såsom underholdning og HR. Dog erkender lederne af disse platforme de tilknyttede risici. De forstår behovet for at håndhæve moderationspolitikker for at forebygge misbrug, herunder impersonation af offentlige personer og bedrageriske aktiviteter. Under en diskussion med Fortune's senior skribent Jeremy Kahn ved Fortune's Brainstorm AI konference i London, fremhævede Victor Riparbelli, CEO for Synthesia, og Mati Staniszewski, CEO for ElevenLabs, vigtigheden af at sikre, at deres virksomheders stemmekloning og videogenereringsteknologier anvendes etisk. Riparbelli, en af medstifterne af video-genereringsplatformen, udtalte: "Som med de fleste nye teknologier går vi straks til, hvad der kan gå galt. I dette tilfælde er det rigtigt – dette vil blive brugt af dårlige mennesker til at gøre dårlige ting, det er sikkert. " Brugen af ​​AI-genereret lyd eller video til at impersonere offentlige personer er blevet et kontroversielt emne. Nylige tilfælde af eksplicitte deepfakes med Taylor Swift og falske Joe Biden robocalls har rejst bekymringer om indflydelsen af AI-genereret indhold på det kommende amerikanske præsidentvalg. OpenAI har for nylig meddelt en forsinkelse i udrulningen af deres AI-stemmekloning-værktøj på grund af de tilknyttede risici for misbrug. De nævnte specifikt bekymringer om politiske implikationer og udtalte: "Vi erkender, at generering af tale, der ligner folks stemmer, har alvorlige risici, der især er i fokus i et valgår. " Staniszewski, medstifter af ElevenLabs, understregede deres engagement i at investere i know-your-customer-protokoller og obligatoriske offentliggørelser. Disse foranstaltninger er på plads for at sikre, at alt indhold, der genereres på deres platform, kan spores tilbage til en bestemt brugers profil.

Derudover undersøger virksomheden måder at adskille AI-genereret og autentisk indhold på, så det er klart for brugerne, hvad der er hvad. Riparbelli fremhævede, at Synthesia har etableret protokoller, der kræver, at brugerne verificerer deres identitet og giver samtykke, inden de opretter AI-genererede videoer. Han udtalte: "Det er i dag umuligt at tage en YouTube-video og lave kloner af nogen [på Synthesia]. Vi tager kontrol på den måde. Vi har ganske omfattende indholdsmæssig moderation, regler om, hvad man kan og ikke kan skabe. " Under diskussionen rejste en journalist bekymringer om lyd deepfakes og henviste til en viral lydklip, der impersonerede Londons borgmester Sadiq Khan, som kritiserede pro-palæstinensiske demonstrationer i november sidste år. Khan gav udtryk for behovet for handling fra Parlamentet for at forhindre mere dristige narrekanter. Staniszewski argumenterede for gennemsigtighed og foreslog, at alt AI-genereret indhold tydeligt skal mærkes som sådan, og at brugerne skal have værktøjer til hurtigt at bekræfte beskeders ægthed. Riparbelli erkendte, at det vil tage tid for branchen og lovgivere at nå til enighed om bedste praksis og regulering vedrørende brugen af AI-værktøjer som dem, der tilbydes af Synthesia og ElevenLabs. Han udtalte: "Som med enhver ny teknologi vil der være disse år, hvor folk finder ud af, hvad der er rigtigt, og hvad der er forkert. "