تحقیقی که توسط Consumer Reports انجام شده، نشان داد که اکثر برنامه‌های پیشرو در زمینه کلون‌سازی صدای هوش مصنوعی از ایمنی کافی برخوردار نیستند و این امکان را به افراد می‌دهد که بدون اجازه، دیگران را تقلید کنند. در سال‌های اخیر، فناوری کلون‌سازی صدا با هوش مصنوعی پیشرفت قابل توجهی داشته و این امکان را فراهم می‌کند که بسیاری از خدمات، الگوهای گفتاری یک فرد را با تنها چند ثانیه صوت به طرز قابل باوری بازتولید کنند. یک incident مهم در طول انتخابات مقدماتی دموکرات‌ها در سال گذشته رخ داد که در آن تماس‌های خودکار با صدای جعلی جو بایدن، تلفن رای‌دهندگان را inundated کرد و به آنها توصیه کرد که رأی ندهند. مشاور سیاسی پشت این طرح به مبلغ ۶ میلیون دلار جریمه شد و از آن زمان، کمیسیون ارتباطات فدرال تماس‌های خودکار تولیدشده توسط هوش مصنوعی را ممنوع کرده است. یک نظرسنجی اخیراً از شش ابزار اصلی کلون‌سازی صدای هوش مصنوعی که به‌صورت عمومی در دسترس هستند، مشخص کرد که پنج مورد از آنها به راحتی می‌توانند تدابیر امنیتی را دور بزنند و این کار را بدون مجوز ساده می‌سازند. نرم‌افزارهای تشخیص تهدیدات صوتی معمولا در تشخیص صدای واقعی و مصنوعی با چالش‌های جدی مواجه هستند. هوش مصنوعی مولد، که ویژگی‌های انسانی نظیر صدا، نوشتار و ظاهر را تقلید می‌کند، زمینه‌ای است که به سرعت در حال تحول است و قانون‌گذاری فدرال محدودی دارد. اکثر دستورالعمل‌های ایمنی و اخلاقی در این صنعت، خودتحمیل شده هستند. رئیس‌جمهور بایدن برخی از اقدامات ایمنی را در فرمان اجرایی ۲۰۲۳ خود در مورد هوش مصنوعی گنجانده بود، اما این اقدامات در زمان ورود رئیس‌جمهور ترامپ لغو شد. فناوری کلون‌سازی صدا با ضبط نمونه‌ای از صدای شخص و تولید یک فایل صوتی مصنوعی بر اساس آن نمونه کار می‌کند.

بدون تدابیر ایمنی مناسب، هر کسی می‌تواند یک حساب کاربری ایجاد کرده، صوتی از یک پلتفرم مانند TikTok یا YouTube بارگذاری کند و از این خدمت برای تقلید صدای آن شخص استفاده کند. چهار ابزار—ElevenLabs، Speechify، PlayHT و Lovo—فقط از کاربران می‌خواهند که تیک بزنند تا تأیید کنند که شخصی که صدای او در حال تقلید است، مجوز داده است. Resemble AI یک الزامات کمی سخت‌گیرانه‌تر دارد و نیاز به ضبط صوت در زمان واقعی دارد. با این حال، Consumer Reports موفق شد این را با پخش یک فایل صوتی ضبط‌شده قبلی از یک کامپیوتر دور بزند. تنها خدماتی که محافظتی نسبتاً مؤثر دارد، Descript است که نیاز دارد شخصی که می‌خواهد صدای خود را کلون کند، یک بیانیه رضایت خاص را ضبط کند، که این کار را نسبت به استفاده از سایر خدمات دشوارتر می‌کند. تمام شش ابزار به‌صورت عمومی در وب‌سایت‌هایشان قابل دسترسی‌اند، با این حال ElevenLabs و Resemble AI به ترتیب ۵ و ۱ دلار برای ایجاد یک کلون صوتی سفارشی هزینه می‌گیرند، در حالی که دیگر ابزارها رایگان هستند. برخی از این شرکت‌ها به پتانسیل سوءاستفاده از محصولات خود اعتراف می‌کنند و ادعا می‌کنند که تدابیر قوی‌ای برای جلوگیری از ایجاد دیپ‌فیک‌ها یا تسهیل تقلید صوتی به کار گرفته‌اند. یک سخنگوی Resemble AI به NBC News گفت: «ما پتانسیل سوءاستفاده از این ابزار قدرتمند را درک می‌کنیم و تدابیر قوی‌ای برای جلوگیری از ایجاد دیپ‌فیک‌ها و محافظت در برابر تقلید صوتی به کار گرفته‌ایم. » برخی از کاربردهای مشروع برای کلون‌سازی صدای هوش مصنوعی وجود دارد، مانند کمک به افراد با معلولیت و تولید ترجمه‌های صوتی به چند زبان. با این حال، پتانسیل سوءاستفاده قابل توجه است، به‌طوریکه سارا مایرز وست، co-executive director Institute آینده هوش مصنوعی، یک اندیشکده که به بررسی پیامدهای سیاست هوش مصنوعی می‌پردازد، به NBC News گفت: «این می‌تواند به وضوح برای کلاهبرداری، تقلب و اطلاعات نادرست مورد استفاده قرار گیرد، به‌ویژه تقلید از شخصیت‌های نهادها. » تحقیقات در مورد شیوع هوش مصنوعی در کلاهبرداری‌های مبتنی بر صوت محدود است. به عنوان مثال، در کلاهبرداری‌های مادربزرگی، یک مجرم با فردی تماس می‌گیرد و ادعا می‌کند که اضطراری در رابطه با یکی از اعضای خانواده وجود دارد، مانند ربودن یا آسیب. کمیسیون تجارت فدرال به عمومی هشدار داده است که ممکن است از هوش مصنوعی در این طرح‌ها استفاده شود، با این حال چنین کلاهبرداری‌هایی قبل از ورود این فناوری نیز وجود داشتند.