Google DeepMind ha creat una eina de codi obert dissenyada per identificar text generat per IA, coneguda com SynthID. SynthID forma part d'una gamma més àmplia d'eines de marcatge d'aigua destinades a sortides d'IA generativa. Després de la introducció d'una marca d'aigua per a imatges l'any passat, l'empresa ha publicat posteriorment una per a vídeos generats per IA. Al maig, Google va revelar que SynthID s'està integrant a la seva aplicació Gemini i xatbots en línia i va fer que estigués accessible gratuïtament a Hugging Face, un ben conegut repositori de jocs de dades i models d'IA. Les marques d'aigua s'estan convertint en crucials per ajudar els usuaris a reconèixer continguts generats per IA, cosa essencial per combatre problemes com la desinformació. Pushmeet Kohli, vicepresident de recerca a Google DeepMind, afirma: “Ara, altres desenvolupadors de IA [generativa] poden aprofitar aquesta tecnologia per discernir si les sortides de text provenen dels seus propis [models de llenguatge gran], facilitant així un desenvolupament responsable de IA en tot el tauler. ” SynthID incrusta una marca d'aigua invisible directament al text durant el procés de generació per part d'un model d'IA. Els models de llenguatge gran funcionen descomposant el llenguatge en “tokens” i prediuen el token més probable que segueixi. Aquests tokens poden incloure caràcters individuals, paraules o parts de frases, cadascun assignat amb una puntuació de probabilitat que reflecteix la seva probabilitat de ser la següent paraula en una frase. Probabilitats més grans suggereixen una major probabilitat de selecció pel model. Kohli explica que SynthID introdueix informació addicional a l'estadi de generació ajustant la probabilitat de generació de tokens. Per discernir la marca d'aigua, SynthID examina les puntuacions de probabilitat esperades de les paraules tant en textos marcats com no marcats. Segons Google DeepMind, emprar SynthID no va comprometre la qualitat, precisió, creativitat o velocitat del text generat. Aquesta conclusió va sorgir d'un extens experiment en viu avaluant el rendiment de SynthID després de la seva implementació dins dels productes Gemini, que milions d'usuaris van utilitzar.

Gemini permet als usuaris valorar les respostes del model d'IA utilitzant indicadors de polze amunt o polze avall. Kohli i el seu equip van avaluar dades d'aproximadament 20 milions de respostes de xatbots tant marcats com no marcats, descobrint que no hi havia diferències percebudes en qualitat o utilitat. Les conclusions d'aquest experiment estan detallades en un article publicat a Nature avui. Actualment, SynthID per text és exclusiu per als models de Google, però la intenció darrere de fer-lo de codi obert és ampliar la seva compatibilitat amb més eines. Malgrat els seus avantatges, SynthID té limitacions. La marca d'aigua pot resistir certes tècniques de manipulació, com l'edició lleugera o el retallat, però és menys efectiva quan el text generat per IA es reescriu o es tradueix entre idiomes. També afronta desafiaments quan respon a preguntes factuals, com identificar la capital de França, a causa de les oportunitats limitades per ajustar la probabilitat de les paraules futures sense alterar la informació factual. João Gante, enginyer d'aprenentatge automàtic a Hugging Face, destaca un altre avantatge de fer de codi obert l'eina: permet a qualsevol accedir i integrar lliurement el marcatge d'aigua al seu model. Gante creu que això millorará la privacitat de la marca d'aigua, ja que només el propietari tindrà els secrets criptogràfics. “Amb una accessibilitat i validació millorada de les seves funcionalitats, espero que el marcatge d'aigua es converteixi en una pràctica estàndard, ajudant a la detecció de l'ús maliciós de models de llenguatge, ” diu Gante. No obstant això, Irene Solaiman, cap de política global de Hugging Face, adverteix que les marques d'aigua no són una solució completa. “El marcatge d'aigua representa només un aspecte de models més segurs dins d'un ecosistema que necessita una diversitat de mesures de seguretat complementàries. De la mateixa manera, la verificació de fets per a contingut generat per humans pot tenir nivells variables d'efectivitat, ” explica.