En undersøgelse af Consumer Reports afslørede, at de fleste førende programmer til kunstig intelligens stemmekloning mangler tilstrækkelige sikkerhedsforanstaltninger, hvilket gør det muligt for personer at impersonere andre uden samtykke. I de senere år er teknologien til stemmekloning med kunstig intelligens avanceret betydeligt, hvilket gør det muligt for mange tjenester at overbevisende replikere en persons talepattern med blot et par sekunder af lyd. En bemærkelsesværdig hændelse indtraf under sidste års demokratiske primærvalg, hvor robocalls med en falsk Joe Biden oversvømmede vælgernes telefoner og rådgav dem imod at stemme. Den politiske consultant bag dette scheme fik en bøde på 6 millioner dollars, og Federal Communications Commission har siden forbudt AI-genererede robocalls. En nylig undersøgelse af seks store offentligt tilgængelige AI-stemmekloning værktøjer identificerede, at fem af dem let kunne omgå sikkerhedsforanstaltningerne, hvilket gør det enkelt at klone stemmer uden samtykke. Deepfake lyddetektionssoftware har ofte svært ved at skelne mellem ægte og syntetiske stemmer. Generativ AI, som efterligner menneskelige egenskaber som stemme, skrivestil og udseende, er et hurtigt udviklende felt med minimal føderal regulering. De fleste sikkerheds- og etiske retningslinjer inden for branchen er selvpålagte. Præsident Biden inkluderede nogle sikkerhedsforanstaltninger i sin eksekutive ordre om AI fra 2023, men disse blev ophævet af præsident Trump ved sin tiltrædelse. Teknologien til stemmekloning fungerer ved at optage et lydprøve af en persons stemme og producere en syntetisk lydfil baseret på den prøve. Uden passende sikkerhedsforanstaltninger kan enhver oprette en konto, uploade lyd fra en platform som TikTok eller YouTube, og få tjenesten til at replikere den persons stemme. Fire værktøjer — ElevenLabs, Speechify, PlayHT og Lovo — kræver blot, at brugerne afkrydser en boks, der bekræfter, at personen, hvis stemme der klones, har givet samtykke.

Resemble AI har et lidt strammere krav, der kræver realtidslydopptagelse. Dog lykkedes det Consumer Reports at omgå dette ved at spille en tidligere optaget lydfil fra en computer. Den eneste tjeneste med en relativt effektiv sikkerhedsforanstaltning er Descript, som kræver, at personen, der ønsker at klone en stemme, optager en specifik samtykkeerklæring, hvilket gør det sværere at forfalske sammenlignet med andre tjenester. Alle seks værktøjer kan tilgås offentligt på deres hjemmesider, hvor ElevenLabs og Resemble AI opkræver henholdsvis 5 og 1 dollar for at skabe en brugerdefineret stemmeklon, mens de andre er gratis at bruge. Nogle af disse virksomheder anerkender potentialet for misbrug af deres produkter og hævder at have implementeret stærke sikkerhedsforanstaltninger mod at skabe deepfakes eller muliggøre stemmeimpersonation. En talsmand for Resemble AI sagde til NBC News: "Vi anerkender potentialet for misbrug af dette magtfulde værktøj og har implementeret robuste sikkerhedsforanstaltninger for at forhindre skabelsen af deepfakes og beskytte mod stemmeimpersonation. " Der er legitime anvendelser for AI-stemmekloning, såsom at hjælpe personer med handicap og generere lydoversættelser på flere sprog. Dog er potentialet for misbrug betydeligt, ifølge Sarah Myers West, medudøvende direktør for AI Now Institute, en tænketank, der undersøger AI-politikimplikationer. Hun sagde til NBC News: "Dette kan åbenlyst bruges til svindel, bedrageri og desinformation, især ved at impersonere institutionelle figurer. " Forskningen om hyppigheden af AI i lydbaserede svindelnumre er begrænset. I bedsteforældresvindel eksempelvis, kontakter en kriminel nogen og hævder, at der er en nødsituation, der involverer et familiemedlem, såsom kidnapping eller skade. Federal Trade Commission har advaret offentligheden om den mulige brug af AI i disse planer, selvom sådanne svindel allerede eksisterede før denne teknologis fremkomst.