AI-genererade ljud- och video-plattformar utvecklas snabbt och används inom olika områden, som underhållning och HR. Men ledarna för dessa plattformar erkänner de associerade riskerna. De förstår behovet av att införa modereringsregler för att förhindra missbruk, inklusive förfalskning av offentliga personer och bedräglig verksamhet. Under en diskussion med Fortune senior writer Jeremy Kahn vid Fortune's Brainstorm AI-konferens i London betonade Victor Riparbelli, VD för Synthesia, och Mati Staniszewski, VD för ElevenLabs, vikten av att säkerställa att deras företags teknik för röstkloning och videogenerering används etiskt. Riparbelli, en av medgrundarna till video-genereringsplattformen, sa: "Precis som med de flesta nya teknologier fokuserar vi genast på vad som kan gå fel. I det här fallet stämmer det – detta kommer att användas av dåliga människor för att göra dåliga saker, det är säkert. " Användningen av AI-genererat ljud eller video för att förfalska offentliga personer har blivit en kontroversiell fråga. Nyligen incidenter med explicita deepfakes, där Taylor Swift och fejkade Joe Biden robocalls var inblandade, har väckt oro kring AI-genererat innehålls påverkan på den kommande presidentvalet i USA. OpenAI meddelade nyligen en försening av lanseringen av sin AI-röstkloningsverktyg på grund av de associerade riskerna med missbruk. De hänvisade specifikt till politiska konsekvenser och uttalade: "Vi inser att att generera tal som påminner om människors röster innebär allvarliga risker, särskilt under ett valår. " Staniszewski, medgrundare av ElevenLabs, betonade deras åtagande att investera i know-your-customer-protokoll och obligatoriska upplysningar. Dessa åtgärder är på plats för att säkerställa att allt innehåll som genereras på deras plattform kan spåras till en specifik användares profil.

Dessutom utforskar företaget möjligheter att utmärka skillnaden mellan AI-genererat och autentiskt innehåll, för att tydligt visa användarna vad som är vad. Riparbelli betonade att Synthesia har etablerade protokoll som kräver att användarna verifierar sin identitet och ger sitt samtycke innan de skapar AI-genererade videor. Han sa: "Det är omöjligt i dag att gå in och ta en YouTube-video och skapa kloner av någon [på Synthesia]. Vi har kontroll på det sättet. Vi har ganska strikt innehållsmoderation, regler om vad du kan skapa och vad du inte kan skapa. " Under diskussionen lyfte en reporter fram oro över audio deepfakes och refererade till ett viralt ljudklipp där Londonborgmästaren Sadiq Khan kritiserade pro-Palestinamarscher i november förra året. Khan uttryckte behovet av åtgärder från parlamentet för att förhindra djärvare upptåg. Staniszewski förespråkade öppenhet och föreslog att allt AI-genererat innehåll bör vara tydligt märkt som sådant, och att användarna bör ha verktyg för att snabbt verifiera äktheten i meddelanden. Riparbelli erkände att det kommer att ta tid för branschen och lagstiftarna att nå en konsensus om bästa praxis och regleringar gällande användningen av AI-verktyg som de som erbjuds av Synthesia och ElevenLabs. Han sa: "Precis som med alla nya teknologier kommer det att finnas dessa år där människor försöker lista ut vad som är rätt och vad som är fel. "