أظهر تحقيق أجراه تقرير المستهلكين أن معظم برامج تقليد الصوت باستخدام الذكاء الاصطناعي الرائدة تفتقر إلى الحماية الكافية، مما يمكّن الأفراد من انتحال شخصية الآخرين دون موافقة. في السنوات الأخيرة، تطورت تقنية تقليد الصوت بالذكاء الاصطناعي بشكل كبير، مما مكّن العديد من الخدمات من تقليد أنماط كلام الشخص بشكل مقنع باستخدام بضع ثوانٍ فقط من المقطع الصوتي. حدثت واقعة بارزة خلال الانتخابات التمهيدية الديمقراطية العام الماضي عندما اجتاحت مكالمات آلية تحمل صوتًا مزيفًا لجوزيف بايدن هواتف الناخبين، حيث نصحتهم بعدم التصويت. وقد تم تغريم المستشار السياسي وراء هذه الخطة بمبلغ 6 ملايين دولار، ومنذ ذلك الحين، حظرت لجنة الاتصالات الفيدرالية المكالمات الآلية المولدة بالذكاء الاصطناعي. حدد استطلاع حديث لأدوات تقليد الصوت بالذكاء الاصطناعي المتاحة للجمهور ستة أدوات رئيسية، حيث تبين أن خمسة منها تمكنت بسهولة من تجاوز تدابير الأمان، مما جعل من السهل تقليد الأصوات دون موافقة. وغالبًا ما تواجه برامج الكشف عن الصوت العميق صعوبة في التمييز بين الأصوات الحقيقية والاصطناعية. يعتبر الذكاء الاصطناعي التوليدي، الذي يحاكي الخصائص البشرية مثل الصوت والكتابة والمظهر، مجالًا يتطور بسرعة مع تنظيم فدرالي محدود. معظم إرشادات السلامة والأخلاق داخل هذه الصناعة مفروضة ذاتيًا. وقد شملت أوامر الرئيس بايدن التنفيذية لعام 2023 بعض تدابير السلامة، لكنها ألغيت من قبل الرئيس ترامب عند توليه المنصب. تعمل تقنية تقليد الصوت من خلال التقاط عينة صوتية لشخص ما وإنتاج ملف صوتي اصطناعي بناءً على تلك العينة. دون وجود تدابير الأمان المناسبة، يمكن لأي شخص إنشاء حساب، وتحميل صوت من منصة مثل تيك توك أو يوتيوب، وجعل الخدمة تقلد صوت ذلك الشخص. تتطلب أربع أدوات—ElevenLabs وSpeechify وPlayHT وLovo—ببساطة من المستخدمين التحقق من مربع يؤكد أن الشخص الذي يتم تقليد صوته قد وافق على ذلك. تتمتع Resemble AI بمتطلبٍ أكثر صرامة بعض الشيء، حيث تتطلب تسجيل صوتي في الوقت الفعلي.

ومع ذلك، تمكن تقرير المستهلكين من تجاوز ذلك من خلال تشغيل ملف صوتي مسجل مسبقًا من الكمبيوتر. الخدمة الوحيدة التي تمتلك حماية فعالة إلى حد ما هي Descript، التي تتطلب من الشخص الراغب في تقليد صوت تسجيل بيان موافقة محدد، مما يجعل من الصعب تزويره مقارنةً باستخدام خدمات أخرى. يمكن الوصول إلى جميع الأدوات الست على مواقعها على الإنترنت، حيث تفرض ElevenLabs وResemble AI رسومًا قدرها 5 دولارات و1 دولار على التوالي لإنشاء تقليد صوتي مخصص، بينما الأخرى مجانية للاستخدام. يعترف بعض من هذه الشركات بإمكانية إساءة استخدام منتجاتها ويدّعون أنهم نفذوا تدابير حماية قوية ضد إنشاء الصور العميقة أو تسهيل انتحال الصوت. صرّح متحدث باسم Resemble AI لشبكة NBC News، "نعترف بإمكانية إساءة استخدام هذه الأداة القوية وقد قمنا بتنفيذ تدابير قوية لمنع إنشاء الصور العميقة وحماية ضد انتحال الصوت. " هناك تطبيقات مشروعة لتقليد صوت الذكاء الاصطناعي، مثل مساعدة الأفراد ذوي الإعاقة وتوليد ترجمات صوتية بعدة لغات. ومع ذلك، فإن إمكانية إساءة الاستخدام كبيرة، حسبما تقول سارة مايرز ويست، المديرة التنفيذية المشاركة لمعهد AI Now، وهو مركز أبحاث ينظر في تداعيات سياسة الذكاء الاصطناعي. قالت لشبكة NBC News، "يمكن استخدام هذا بوضوح في الاحتيال أو النصب أو المعلومات المضللة، خاصةً انتحال شخصيات مؤسساتية. " التحقيق في انتشار الذكاء الاصطناعي في عمليات الاحتيال الصوتية محدود. في عمليات احتيال الأجداد، على سبيل المثال، يتصل مجرم بشخص ما يدعي أن هناك حالة طارئة تتعلق بأحد أفراد الأسرة، مثل اختطاف أو إصابة. وقد نبهت لجنة التجارة الفيدرالية الجمهور بشأن الاستخدام المحتمل للذكاء الاصطناعي في هذه المخططات، على الرغم من أن مثل هذه الاحتيالات كانت موجودة قبل ظهور هذه التقنية.