Vyšetřování Consumer Reports odhalilo, že většina předních programů pro klonování hlasu pomocí umělé inteligence postrádá adekvátní ochranná opatření, což umožňuje jednotlivcům neconsensuálně se vydávat za jiné. V posledních letech technologie klonování hlasu pomocí umělé inteligence výrazně pokročila, což umožnilo mnoha službám přesvědčivě replikovat řečové vzorce osoby s pouhými několika sekundami zvukového záznamu. V loňských demokratických primárkách došlo k významné události, když robocalls s falešným Joe Bidenem zaplavily telefony voličů a radily jim, aby nevolili. Politický consultant za tímto schématem obdržel pokutu ve výši 6 milionů dolarů a Federální rozhlasová komise od té doby zakázala robocalls generované AI. Nedávný průzkum šesti hlavních veřejně dostupných nástrojů pro klonování hlasu pomocí AI prokázal, že pět z nich mělo bezpečnostní opatření snadno obejitelná, což usnadňuje klonování hlasů bez souhlasu. Software pro detekci deepfake zvuku často považuje za obtížné rozlišit mezi skutečnými a syntetickými hlasy. Generativní AI, která imituje lidské atributy, jako je hlas, psaní a vzhled, je rychle se vyvíjející obor s minimálními federálními regulacemi. Většina bezpečnostních a etických pokynů v rámci tohoto odvětví je autosankcionační. Prezident Biden zahrnul do svého výkonného nařízení o AI z roku 2023 některá bezpečnostní opatření, ale ta byla zrušena prezidentem Trumpem po jeho vstupu do úřadu. Technologie klonování hlasu funguje tak, že zachycuje zvukový vzorek hlasu osoby a vytváří syntetický zvukový soubor na základě tohoto vzorku. Bez řádných ochranných opatření může kdokoli vytvořit účet, nahrát zvuk z platformy jako TikTok nebo YouTube a nechat službu replikovat hlas dané osoby. Čtyři nástroje—ElevenLabs, Speechify, PlayHT a Lovo—jednoduše vyžadují, aby uživatelé zaškrtli políčko potvrzující, že osoba, jejíž hlas je klonován, to autorizovala. Resemble AI má mírně přísnější požadavek, který vyžaduje nahrávání zvuku v reálném čase.

Consumer Reports se však podařilo toto obejít přehráním předem nahraného zvukového souboru z počítače. Jedinou službou s poměrně efektivním ochranným opatřením je Descript, který vyžaduje, aby osoba, která chce klonovat hlas, nahrála konkrétní prohlášení o souhlasu, což ztěžuje falšování ve srovnání s použitím jiných služeb. Všechny šesti nástrojů lze veřejně přistupovat prostřednictvím jejich webových stránek, s ElevenLabs a Resemble AI účtujícími 5 a 1 dolarů za vytvoření vlastního klonu hlasu, zatímco ostatní jsou zdarma k použití. Některé z těchto společností si uvědomují potenciál zneužití jejich produktů a tvrdí, že implementovaly silná ochranná opatření proti vytváření deepfake nebo usnadnění vydávání se za někoho jiného. Mluvčí Resemble AI uvedl pro NBC News: „Uvědomujeme si potenciál zneužití tohoto silného nástroje a zavedli jsme robustní ochranná opatření, abychom zabránili vytváření deepfake a chránili se před vydáváním se za někoho jiného. “ Existují legitimní aplikace pro klonování hlasu pomocí AI, jako je pomoc jednotlivcům se zdravotním postižením a generování zvukových překladů do více jazyků. Podle Sarah Myers West, spolupředsedkyně AI Now Institute, think tanku zkoumá uceny politiku AI, je však potenciál zneužití významný. Řekla NBC News: „Toto by mohlo být zjevně využito pro podvody, scamy a dezinformace, zejména vydávání se za institucionální postavy. “ Výzkum prevalence AI v podvodech založených na zvuku je omezený. Například při podvodných převodech s prarodiči se zločinec spojí s někým a tvrdí, že došlo k havárii, která se týká člena rodiny, jako je únos nebo zranění. Federální obchodní komise varovala veřejnost o možném použití AI v těchto schématech, i když takové podvody existovaly již před vznikem této technologie.