أنظمة توليد الصوت والفيديو المدعومة بالذكاء الاصطناعي تتقدم بسرعة وتجد تطبيقات في مجالات مختلفة مثل الترفيه والموارد البشرية. ومع ذلك، يقرون قادة هذه الأنظمة بالمخاطر المرتبطة بها. إنهم يدركون الحاجة إلى فرض سياسات الاعتدال لمنع الاستخدام السيء، بما في ذلك التنصل عن شخصيات عامة والأنشطة الاحتيالية. خلال نقاش مع الكاتب الأول في مجلة فورتشن جيريمي كان في مؤتمر فورتشن للذكاء الاصطناعي في لندن، أكد فيكتور ريباربيلي، المدير التنفيذي لشركة سينثيزيا، وماتي ستانيشيفسكي، المدير التنفيذي لشركة إليفينلابس، على أهمية ضمان استخدام تقنيات نسخ الصوت وتوليد الفيديو بشكل أخلاقي. صرح ريباربيلي، أحد مؤسسي منصة توليد الفيديو، "مثل أي تكنولوجيا جديدة، ننتقل على الفور إلى ما يمكن أن يحدث من أمور سلبية. في هذه الحالة، نعم - ستستخدمها الأشخاص السيئون لفعل أشياء سيئة، هذا مؤكد. " استخدام الصوت أو الفيديو المولد بواسطة الذكاء الاصطناعي لتنصل عن شخصيات عامة أصبح قضية مثيرة للجدل. أحدث حالات الفيديو الوهمي المشابه للصوت تشمل تايلور سويفت والمكالمات غير الحقيقية التي تنسب لجو بايدن، مما أثار قلقًا بشأن تأثير المحتوى المولد بواسطة الذكاء الاصطناعي على الانتخابات الرئاسية الأمريكية المقبلة. أعلنت OpenAI مؤخرًا تأجيل إطلاق أداة تضاهي صوت الذكاء الاصطناعي بسبب المخاطر المرتبطة بسوء الاستخدام. أشاروا على وجه التحديد إلى مخاوفهم المتعلقة بالآثار السياسية، قائلين "ندرك أن توليد كلام يشبه أصوات الأشخاص يحمل مخاطر خطيرة، والتي تكون في طليعة الاهتمام خاصة في عام انتخابي. " شدد ستانيشيفسكي، المؤسس المشارك لشركة إليفينلابس، على التزامهم بالاستثمار في بروتوكولات معرفة العميل والإفصاح الإلزامي. تم وضع هذه التدابير لضمان تتبع جميع المحتويات المنشأة على منصتهم إلى ملف المستخدم المحدد.

بالإضافة إلى ذلك، تستكشف الشركة وسائل للتمييز بين المحتوى المولد بواسطة الذكاء الاصطناعي والمحتوى الأصلي، مما يجعله واضحًا للمستخدمين ما هو ما. أكد ريباربيلي أنه وضعت سينثيزيا بروتوكولات تتطلب من المستخدمين التحقق من هويتهم وتقديم موافقتهم قبل إنشاء مقاطع الفيديو المولدة بواسطة الذكاء الاصطناعي. قال "من المستحيل اليوم أن تذهب إلى فيديو على اليوتيوب وتفرع عن شخص مشهور [على سينثيزيا]. نتحكم بالأمر بهذه الطريقة. لدينا ضبط محتوى حاد، قواعد حول ما يمكنك إنشاؤه وما لا يمكنك إنشاؤه. " خلال النقاش، أعرب أحد الصحفيين عن قلقه بشأن الصوت الوهمي، وأشار إلى مقطع صوتي فيروسي يقمقم عن رئيس بلدية لندن ساديك خان، ينتقد تظاهرات مؤيدي فلسطين في نوفمبر من العام الماضي. أعرب خان عن الحاجة إلى تدخل من البرلمان لمنع من قام بفعل أشياء أكثر جرأة. دعا ستانيشيفسكي إلى الشفافية، مشيرًا إلى ضرورة وضع علامات واضحة على جميع المحتوى المولد بواسطة الذكاء الاصطناعي وأن يكون لدى المستخدمين أدوات للتحقق بسرعة من صحة الرسائل. اعترف ريباربيلي بأنه سيستغرق الوقت لكي تتوصل الصناعة وصناعة القوانين إلى توافق حول أفضل الممارسات والتشريعات المتعلقة باستخدام أدوات الذكاء الاصطناعي مثل تلك المقدمة من قبل سينثيزيا وإليفينلابس. قال "مثل أي تكنولوجيا جديدة، ستحتاج إلى سنوات حتى يتوصل الناس إلى ما هو صواب وما هو خطأ. "