Yapay zeka tarafından üretilen ses ve video platformları hızla ilerliyor ve eğlence ve İK gibi çeşitli alanlarda uygulamalar buluyor. Ancak, bu platformların liderleri ilişkili riskleri kabul ediyorlar. Kötüye kullanımı önlemek için moderasyon politikalarını uygulamanın, kamu figürlerinin taklit edilmesi ve sahtekarlık faaliyetlerinin engellenmesi gerektiğinin farkındalar. Londra'da düzenlenen Fortune'nun Brainstorm AI konferansında, Fortune kıdemli yazarı Jeremy Kahn ile yapılan bir tartışmada, Synthesia'nın CEO'su Victor Riparbelli ve ElevenLabs'ın CEO'su Mati Staniszewski, şirketlerinin ses klonlama ve video üretme teknolojilerinin etik bir şekilde kullanılmasının önemine vurgu yaptılar. Video üretim platformunun ortak kurucularından biri olan Riparbelli, "Çoğu yeni teknoloji gibi, hemen ne yanlış gidebileceğine odaklanırız. Bu durumda, doğru—açıkçası, istismar etmek için kötü niyetli kişiler tarafından kullanılacak, kesinlikle. " şeklinde konuştu. Kamu figürlerini taklit etmek için yapay zeka tarafından üretilen ses veya video kullanmak tartışmalı bir konu haline gelmiştir. Taylor Swift'i ve sahte Joe Biden robocalls'ı içeren son açık deepfake vakaları, yapay zeka tarafından üretilen içeriğin yaklaşan ABD başkanlık seçimleri üzerindeki etkisine ilişkin endişeleri artırmıştır. OpenAI, ilişkili kötüye kullanım riskleri nedeniyle yapay zeka ses klonlama aracının piyasaya sürülmesini ertelediğini duyurdu. Özellikle siyasi sonuçlardan endişe duyduklarını belirterek, "İnsan seslerine benzeyen konuşmaların üretilmesinin ciddi riskler taşıdığını kabul ediyoruz, özellikle bir seçim yılında bu riskler akılda kalıcı. " ifadelerini kullandılar. ElevenLabs'ın ortak kurucusu Staniszewski, müşteriyi tanıma protokollarına ve zorunlu açıklamalara yatırım yapma taahhüdünü vurguladı. Bu önlemler, platformlarında oluşturulan tüm içeriğin belirli bir kullanıcının profiline izlenebilir şekilde geri takip edilebilmesini sağlamak için mevcuttur.

Ayrıca, şirket, yapay zeka tarafından üretilen ve gerçek içeriği ayırt etmeye yönelik yöntemler araştırmaktadır ve kullanıcılara neyin ne olduğunu net bir şekilde belirtmektedir. Riparbelli, Synthesia'nın kullanıcıların kimliklerini doğrulamalarını ve AI tarafından oluşturulan videoları oluşturmadan önce onay vermelerini gerektiren protokollerin olduğunu vurguladı. "YouTube'daki bir videonun içine girip birisinin kopyalarını yapmak bugün imkansız. Kontrolü bu şekilde sağlarız. Oldukça ağır bir içerik moderasyonumuz var, ne oluşturabileceğiniz ve ne oluşturamayacağınızla ilgili kurallarımız var. " diye konuştu. Tartışma sırasında, bir gazeteci ses deepfake'lerine ilişkin endişelerini dile getirdi ve geçen yıl Kasım ayında Filistin yanlısı yürüyüşleri eleştiren Sadiq Khan'ı taklit eden bir viral ses kaydını örnek olarak sundu. Khan, daha cesur kötü niyetli kişilerin önlenmesi için Parlamentodan harekete geçilmesi gerektiğini ifade etti. Staniszewski, şeffaflığı savunarak, tüm yapay zeka tarafından üretilen içeriğin bunun gibi net bir şekilde etiketlenmeli ve kullanıcıların mesajların otantikliğini hızla doğrulayabilmesi için araçlara sahip olması gerektiğini önerdi. Riparbelli, Synthesia ve ElevenLabs tarafından sunulan gibi yapay zeka araçlarının kullanımıyla ilgili en iyi uygulamalar ve düzenlemeler konusunda sektörün ve yasa koyucuların uzlaşmaya varması için zaman gerektireceğini kabul etti. "Her yeni teknolojide olduğu gibi, insanların neyin doğru ve neyin yanlış olduğunu anlamaya çalıştığı yıllar olacak. " diye konuştu.