En undersökning av Consumer Reports avslöjade att de flesta ledande program för kloning av AI-röst saknar tillräckliga skyddsåtgärder, vilket gör det möjligt för individer att utan samtycke imitera andra. Under de senaste åren har teknologin för röstkloning med AI utvecklats avsevärt, vilket gör det möjligt för många tjänster att övertygande återge en persons talmönster med bara några sekunder ljud. Ett anmärkningsvärt fall inträffade under förra årets demokratiska primärval när robocalls med en falsk Joe Biden översvämmade väljarnas telefoner och rådde dem att inte rösta. Den politiska konsulten bakom denna plan fick en böter på 6 miljoner dollar, och den federala kommunikationskommissionen har sedan dess förbjudit AI-genererade robocalls. En nyligen genomförd undersökning av sex stora offentligt tillgängliga AI-verktyg för röstkloning visade att fem av dem enkelt kunde kringgå säkerhetsåtgärder, vilket gör det enkelt att klona röster utan samtycke. Mjukvara för att upptäcka deepfake-ljud har ofta svårt att särskilja mellan verkliga och syntetiska röst. Generativ AI, som imiterar mänskliga egenskaper såsom röst, skrift och utseende, är ett snabbt utvecklande område med minimal federal reglering. De flesta säkerhets- och etiska riktlinjer inom branschen är självreglerande. President Biden inkluderade vissa säkerhetsåtgärder i sin exekutiva order om AI för 2023, men dessa återkallades av president Trump vid makttillträdet. Tekniken för röstkloning fungerar genom att fånga ett ljudprov av en persons röst och producera en syntetisk ljudfil baserat på det provet. Utan lämpliga skydd kan vem som helst skapa ett konto, ladda upp ljud från plattformar som TikTok eller YouTube och få tjänsten att återge personens röst. Fyra verktyg—ElevenLabs, Speechify, PlayHT och Lovo—kräver helt enkelt att användarna kryssar i en ruta som bekräftar att den person vars röst klonas har godkänt det. Resemble AI har ett något strängare krav, som kräver inspelning av ljud i realtid.

Consumer Reports lyckades dock kringgå detta genom att spela upp en tidigare inspelad ljudfil från en dator. Den enda tjänsten med en relativt effektiv skyddsåtgärd är Descript, som kräver att den person som vill klona en röst spelar in ett specifikt samtyckesuttalande, vilket gör det svårare att förfalska jämfört med andra tjänster. Alla sex verktyg kan nås offentligt på deras webbplatser, där ElevenLabs och Resemble AI tar ut 5 respektive 1 dollar för att skapa en anpassad röstklon, medan de andra är gratis att använda. Vissa av dessa företag erkänner potentialen för missbruk av sina produkter och påstår sig ha implementerat starka skyddsåtgärder mot skapande av deepfakes eller underlättande av röstimitation. En talesperson för Resemble AI uppgav till NBC News: "Vi känner igen potentialen för missbruk av detta kraftfulla verktyg och har implementerat robusta skyddsåtgärder för att förhindra skapandet av deepfakes och skydda mot röstimitations. " Det finns legitima tillämpningar för AI-röstkloning, som att hjälpa personer med funktionsnedsättningar och generera ljudöversättningar på flera språk. Men möjligheten till missbruk är betydande, enligt Sarah Myers West, medverkande verkställande direktör för AI Now Institute, en tankesmedja som undersöker AI-policyimplikationer. Hon sade till NBC News: "Detta kan uppenbarligen användas för bedrägeri, fusk och desinformation, speciellt för att imitera institutionella figurer. " Forskningen om förekomsten av AI i ljudbaserade bedrägerier är begränsad. Vid "farföräldrabedrägerier", till exempel, kontaktar en brottsling någon och påstår att det finns en nödsituation som involverar en familjemedlem, som en kidnappning eller skada. Den federala handelskommissionen har varnat allmänheten om den möjliga användningen av AI i dessa planer, även om sådana bedrägerier existerade innan denna teknologis framkomst.