Els investigadors en ciberseguretat han identificat una nova tècnica de jailbreak capaç de superar els protocols de seguretat d'un gran model de llenguatge (LLM) per generar respostes potencialment perjudicials. Coneguda com a "Bad Likert Judge", aquesta atac de múltiples torns va ser descobert pels investigadors de Palo Alto Networks Unit 42: Yongzhe Huang, Yang Ji, Wenjun Hu, Jay Chen, Akshata Rao i Danny Tsechansky. El mètode consisteix a instruir l'LLM perquè actuï com un jutge, puntuant la perillositat de les respostes utilitzant l'escala de Likert, un sistema de valoració que mesura l'acord o desacord amb una afirmació. Posteriorment, se sol·licita a l'LLM que generi respostes amb exemples alineats amb aquestes escales, on la puntuació més alta de Likert pot revelar contingut nociu. A mesura que la intel·ligència artificial ha guanyat adhesió, han sorgit noves amenaces de seguretat com la injecció de prompts. Aquests atacs manipulen els models d'aprenentatge automàtic per desviar-se del seu comportament previst mitjançant prompts elaborats. Una variant, el jailbreak de molts torns, utilitza l'atenció i la capacitat de context de l'LLM per guiar-lo progressivament cap a una resposta malintencionada mentre evadeix les defenses internes.

Tècniques com Crescendo i Deceptive Delight il·lustren aquest enfocament. La demostració més recent de la Unit 42 implica utilitzar l'LLM com a jutge per avaluar la perillositat de les respostes mitjançant l'escala de Likert i després generar diverses respostes alineades amb diferents puntuacions. Les proves realitzades a sis LLM avançats d'Amazon Web Services, Google, Meta, Microsoft, OpenAI i NVIDIA indiquen un augment de més del 60% en la taxa d'èxit de l'atac (ASR) en comparació amb els prompts normals. Les categories provades eren odi, assetjament, autolesió, contingut sexual, armes indiscriminades, activitats il·legals, generació de malware i fuites de prompts del sistema. Els investigadors van assenyalar que aprofitar la comprensió de l'LLM sobre el contingut nociu i la seva capacitat d'avaluació augmenta considerablement les possibilitats de superar els protocols de seguretat. Els filtres de contingut poden reduir l'ASR en una mitjana de 89, 2 punts percentuals a través de tots els models provats, destacant la importància d'un filtratge robust quan s'implementen LLM. Aquest desenvolupament segueix un informe de The Guardian que mostra que el ChatGPT d'OpenAI podria ser enganyat per generar resums enganyosos resumint pàgines web amb contingut ocult. Això podria portar el ChatGPT a valorar positivament productes malgrat ressenyes negatives, ja que la simple incorporació de text ocult pot desviar els seus resums.