Platformy generujące audio i wideo przy pomocy sztucznej inteligencji szybko się rozwijają i znajdują zastosowanie w różnych dziedzinach, takich jak rozrywka i zarządzanie zasobami ludzkimi. Jednak liderzy tych platform uznają związane z nimi ryzyko. Rozumieją potrzebę wprowadzenia polityki moderacji w celu zapobiegania nadużyciom, w tym podszywaniu się pod osoby publiczne i oszustwom. Podczas dyskusji z seniorem pisarzy Fortune Jeremy’m Kahnem na konferencji Fortune Brainstorm AI w Londynie, Victor Riparbelli, CEO Synthesia, i Mati Staniszewski, CEO ElevenLabs, podkreślili znaczenie zapewnienia, że technologie klonowania głosu i generowania wideo ich firm są używane w sposób etyczny. Riparbelli, jeden z współzałożycieli platformy do generowania wideo, stwierdził: "Jak to zwykle ma miejsce w przypadku nowych technologii, natychmiast zastanawiamy się, co może pójść nie tak. W tym przypadku to prawda - będą z pewnością osoby, które wykorzystają to do złych celów. " Wykorzystywanie sztucznie generowanego dźwięku lub wideo do podszywania się pod osoby publiczne stało się problematyczną kwestią. Ostatnie przypadki wykorzystania deepfake'ów dotyczących Taylor Swift i fałszywych rozmów automatycznych Joe'a Bidena budzą obawy dotyczące wpływu generowanego przez sztuczną inteligencję treści na zbliżające się wybory prezydenckie w USA. OpenAI niedawno ogłosiło opóźnienie w wdrożeniu narzędzia do klonowania głosu opartego na sztucznej inteligencji z powodu związanych z nim ryzyka nadużyć. Konkretnie wskazali obawy dotyczące konsekwencji politycznych, twierdząc: "Rozumiemy, że generowanie mowy podobnej do głosów ludzi wiąże się z poważnymi ryzykami, które są szczególnie istotne w roku wyborczym". Staniszewski, współzałożyciel ElevenLabs, podkreślił ich zobowiązanie do inwestowania w protokoły poznaj-swojego-klienta oraz obowiązkowe informacje. Takie środki mają na celu zapewnienie, że wszelkie treści generowane na ich platformie mogą zostać przypisane do konkretnego profilu użytkownika.

Ponadto, firma badaje możliwości odróżnienia materiałów wygenerowanych przez sztuczną inteligencję od autentycznych, aby użytkownicy wiedzieli, co jest czym. Riparbelli podkreślił, że Synthesia wprowadziła protokoły wymagające weryfikacji tożsamości użytkowników i uzyskania zgody przed tworzeniem sztucznie generowanych filmów. Stwierdził: "Obecnie niemożliwe jest pójście na YouTube i zrobienie klonów osób [na Synthesia]. Działamy w ten sposób. Mamy bardzo restrykcyjną moderację treści, zasady dotyczące tego, co można stworzyć, a czego nie można. " Podczas dyskusji reporter wyraził obawy dotyczące deepfake'ów dźwiękowych i wspomniał o wiralowym nagraniu dźwiękowym, w którym podawano się za burmistrza Londynu, Sadiqa Khana, a krytykowano marsze na rzecz Palestyny w listopadzie zeszłego roku. Khan wyraził potrzebę podjęcia działań ze strony Parlamentu w celu zapobieżenia bardziej odważnym żartom. Staniszewski opowiadał o potrzebie przejrzystości i sugerował, że wszelkie treści generowane przez sztuczną inteligencję powinny być jasno oznaczone jako takie, a użytkownicy powinni mieć narzędzia do szybkiego weryfikowania autentyczności wiadomości. Riparbelli przyznał, że potrzeba czasu, aby branża i ustawodawcy osiągnęli konsensus w sprawie najlepszych praktyk i regulacji dotyczących wykorzystania narzędzi opartych na sztucznej inteligencji, takich jak te oferowane przez Synthesia i ElevenLabs. Stwierdził: "Tak jak w przypadku każdej nowej technologii, przez te lata ludzie będą szukać tego, co jest właściwe, a co złe".