Розслідування Consumer Reports виявило, що більшість провідних програм клонування голосів за допомогою штучного інтелекту не мають достатніх заходів безпеки, що дозволяє людям накладати імідж інших без їх згоди. В останні роки технології клонування голосів на базі ШІ значно розвинулися, даючи можливість багатьом сервісам переконливо відтворювати мовні патерни людини, використовуючи лише кілька секунд аудіозапису. Важливий інцидент стався під час минулорічних праймеріз Демократичної партії, коли автоматичні дзвінки з фальшивим Джо Байденом заполонили телефони виборців, повідомляючи їм не голосувати. Політичний консультант, який стояв за цією схемою, отримав штраф у 6 мільйонів доларів, і з того часу Федеральна комісія з комунікацій заборонила автоматичні дзвінки, створені за допомогою ШІ. Нещодавнє опитування шести основних відкритих інструментів для клонування голосу за допомогою ШІ виявило, що п’ять з них мають легко обійдені заходи безпеки, що робить клонування голосів без згоди простим. Програмне забезпечення для виявлення підробленого аудіо часто важко розрізняє реальні та синтетичні голоси. Генеративний ШІ, який імітує людські атрибути, такі як голос, письмо і зовнішність, є швидко зростаючою галуззю з мінімальним федеральним регулюванням. Більшість заходів безпеки та етичних норм у цій галузі є самоорганізованими. Президент Байден включив деякі заходи безпеки у свій указ про ШІ у 2023 році, але вони були скасовані президентом Трампом після його вступу на посаду. Технологія клонування голосу працює, захоплюючи аудіозразок голосу людини і створюючи синтетичний аудіофайл на основі цього зразка. Без належних заходів безпеки будь-хто може створити акаунт, завантажити аудіо з платформи, такої як TikTok або YouTube, і дозволити сервісу відтворити голос цієї особи. Чотири інструменти — ElevenLabs, Speechify, PlayHT і Lovo — просто вимагають від користувачів відзначити графу, що підтверджує, що особа, голос якої клонують, дала на це згоду. Resemble AI має трохи строгішу вимогу, яка вимагає запису аудіо в реальному часі.

Однак Consumer Reports вдалося обійти цю вимогу, відтворивши попередньо записаний аудіофайл з комп'ютера. Єдиний сервіс з досить ефективним заходом безпеки — це Descript, який вимагає, щоб особа, яка хоче клонувати голос, записала конкретну заяву про згоду, що ускладнює підробку в порівнянні з іншими сервісами. Усі шість інструментів доступні для публіки на їх вебсайтах, причому ElevenLabs і Resemble AI стягують 5 і 1 доларів відповідно за створення кастомного голосового клону, тоді як інші безкоштовні. Деякі з цих компаній визнають потенціал неналежного використання своїх продуктів і стверджують, що впровадили надійні заходи безпеки проти створення дипфейків або сприяння голосовій імітації. Спікер Resemble AI заявив NBC News: "Ми визнаємо потенціал неналежного використання цього потужного інструмента та впровадили надійні заходи безпеки для запобігання створення дипфейків і захисту від голосової імітації. " Є законні застосування для клонування голосу за допомогою ШІ, такі як допомога людям з інвалідністю та генерація аудіоперекладів московськими мовами. Однак, за словами Сара Мейєрс Вест, співвиконавчого директора Інституту AI Now, що вивчає наслідки політики в сфері ШІ, потенціал неналежного використання значний. Вона сказала NBC News: "Це може бути, очевидно, використане для шахрайства, афер і дезінформації, зокрема, для імітації інституційних фігур. " Дослідження про поширеність ШІ в аудіо-шахрайствах є обмеженим. Наприклад, у шахрайствах з бабусями і дідусями злочинець контактує з кимось, стверджуючи, що є надзвичайна ситуація, що стосується члена сім'ї, наприклад, викрадення або травми. Федеральна комісія з торгівлі попередила громадськість про можливе використання ШІ в цих схемах, хоча такі шахрайства існували ще до появи цієї технології.