Istraživanje Consumer Reports-a pokazalo je da većina vodećih programa za kloniranje glasova temeljenih na umjetnoj inteligenciji nema adekvatne mjere zaštite, što omogućava pojedincima da neovlašteno imitiraju druge. U posljednjim godinama, tehnologija kloniranja glasa pomoću AI je značajno napredovala, omogućavajući mnogim uslugama da uvjerljivo repliciraju govorne obrasce osobe s samo nekoliko sekundi audio zapisa. Zapažen incident dogodio se tokom prošlogodišnjih demokratskih predizbora kada su robopozivi sa lažnim Joeom Bidenom preplavili telefone glasača, savjetujući ih da ne glasaju. Politički konsultant iza ovog plana kažnjen je s 6 miliona dolara, a Savezna komisija za komunikacije je od tada zabranila robopozive koje generira AI. Nedavna anketa šest glavnih javno dostupnih alata za kloniranje glasa temeljenih na AI pokazala je da je pet njih lako zaobišlo sigurnosne mjere, olakšavajući kloniranje glasova bez pristanka. Softver za detekciju deepfake audio snimaka često ima poteškoća u razlikovanju između stvarnih i sintetizovanih glasova. Generativna AI, koja imitira ljudske osobine poput glasa, pisanja i izgleda, je brzo razvijajuće polje s minimalnom saveznom regulacijom. Većina sigurnosnih i etičkih smjernica unutar industrije je samoproklamovana. Predsjednik Biden je uključio neke mjere sigurnosti u svoju izvršnu naredbu o AI iz 2023. godine, ali su te mjere ukinute od strane predsjednika Trumpa kada je preuzeo dužnost. Tehnologija kloniranja glasa funkcioniše tako što snima audio uzorak glasa osobe i proizvodi sintetičku audio datoteku na osnovu tog uzorka. Bez pravih mjera zaštite, bilo ko može otvoriti nalog, otpremiti audio sa platformi poput TikToka ili YouTube-a i zatražiti da se glas te osobe replicira. Četiri alata—ElevenLabs, Speechify, PlayHT i Lovo—jednostavno zahtijevaju od korisnika da označe polje koje potvrđuje da je osoba čiji se glas klonira dala ovlaštenje.

Resemble AI ima nešto stroži zahtjev, koji zahtijeva snimanje zvuka u realnom vremenu. Međutim, Consumer Reports je uspio zaobići ovo tako što je puštao prethodno snimljeni audio zapis sa računara. Jedina usluga sa relativno efikasnom mjerom zaštite je Descript, koja zahtijeva da osoba koja želi klonirati glas snimi određenu izjavu o pristanku, što otežava falsifikovanje u poređenju sa drugim uslugama. Svi šest alata mogu se javno pristupiti putem njihovih web stranica, pri čemu ElevenLabs i Resemble AI naplaćuju 5 i 1 dolar, redom, za kreiranje prilagođenog klona glasa, dok su ostali besplatni za korištenje. Neke od ovih kompanija priznaju potencijal za zloupotrebu svojih proizvoda i tvrde da su implementirali jake mjere zaštite protiv stvaranja deepfake-a ili olakšava glasovno imitiranje. Portparol Resemble AI izjavio je za NBC News: “Prepoznajemo potencijal za zloupotrebu ovog moćnog alata i implementirali smo robusne mjere zaštite kako bismo spriječili stvaranje deepfake-ova i zaštitili se od glasovnog imitiranja. ” Postoje legitimne primjene za kloniranje glasa AI, kao što su pomoć osobama sa invaliditetom i generisanje audio prevoda na nekoliko jezika. Međutim, potencijal za zloupotrebu je značajan, prema Sarah Myers West, suizvršnoj direktorici AI Now Institute-a, think tanka koji ispituje političke implikacije AI-a. Rekla je za NBC News: “Ovo bi se očigledno moglo koristiti za prevaru, prevare i dezinformacije, posebno imitujući institucionalne ličnosti. ” Istraživanje o prisutnosti AI u prevarama temeljenim na audiu je ograničeno. U prevarama poznatim kao "prevare baka i deka", na primjer, kriminalac kontaktira nekoga tvrdeći da postoji hitna situacija koja uključuje člana porodice, poput otmice ili povrede. Savezna trgovinska komisija je upozorila javnost na moguću upotrebu AI-u u ovim šemama, iako su slične prevare postojale i prije pojave ove tehnologije.