Los investigadores de ciberseguridad han identificado una nueva técnica de "jailbreak" capaz de eludir los protocolos de seguridad de un modelo de lenguaje grande (LLM) para generar respuestas potencialmente nocivas. Conocida como "Bad Likert Judge", este ataque de múltiples turnos (o muchos intentos) fue descubierto por los investigadores de Palo Alto Networks Unit 42: Yongzhe Huang, Yang Ji, Wenjun Hu, Jay Chen, Akshata Rao y Danny Tsechansky. El método consiste en instruir al LLM para que actúe como un juez, puntuando la nocividad de las respuestas utilizando la escala de Likert, un sistema de clasificación que mide el acuerdo o desacuerdo con una afirmación. Posteriormente, solicita al LLM crear respuestas con ejemplos alineados con estas escalas, donde la puntuación más alta puede revelar contenido nocivo. A medida que la inteligencia artificial ha ganado atención, han surgido nuevas amenazas de seguridad como la inyección de comandos. Estos ataques manipulan los modelos de aprendizaje automático para desviarse de su comportamiento intencionado utilizando solicitudes elaboradas. Una variante, el jailbreak de muchos intentos, emplea la atención y capacidad de contexto del LLM para guiarlo de manera incremental hacia una respuesta maliciosa mientras se evaden defensas internas.

Técnicas como Crescendo y Deceptive Delight ilustran este enfoque. La última demostración de Unit 42 implica usar el LLM como juez para evaluar la nocividad de las respuestas a través de la escala de Likert y luego generar diversas respuestas alineadas con diferentes puntuaciones. Pruebas en seis LLM avanzados de Amazon Web Services, Google, Meta, Microsoft, OpenAI y NVIDIA indican un aumento de más del 60% en la tasa de éxito de ataques (ASR) frente a solicitudes normales. Las categorías evaluadas fueron odio, acoso, autolesiones, contenido sexual, armas indiscriminadas, actividades ilegales, generación de malware y fuga de solicitudes del sistema. Los investigadores notaron que aprovechar la comprensión del LLM sobre contenido nocivo y su capacidad evaluativa mejora en gran medida las posibilidades de eludir los protocolos de seguridad. Los filtros de contenido pueden reducir el ASR en un promedio de 89. 2 puntos porcentuales en todos los modelos probados, lo que enfatiza la importancia de tener un filtrado robusto al implementar LLMs. Este desarrollo sigue un informe de The Guardian que muestra que ChatGPT de OpenAI podría ser engañado para generar resúmenes engañosos al resumir páginas web con contenido oculto. Estos métodos podrían llevar a ChatGPT a evaluar favorablemente productos a pesar de reseñas negativas, ya que simplemente al incorporar texto oculto se pueden sesgar sus resúmenes.