Un informe reciente destaca las diversas formas en que los chatbots de inteligencia artificial pueden cometer errores. El informe se centra en los resultados de un concurso celebrado en la convención de hackers Def Con, donde los participantes intentaron provocar a ocho chatbots de IA líderes para que generaran respuestas problemáticas. Los hallazgos revelan que, aunque es difícil engañar a los chatbots de IA para que violen sus reglas, resulta muy sencillo hacer que produzcan inexactitudes. Los chatbots mostraron una alta tasa de éxito al generar información matemática y geográfica incorrecta. Además, eran propensos a proporcionar información legal incorrecta y no eran eficientes en proteger información sensible. Por otro lado, los concursantes tuvieron dificultades para hacer que los chatbots justificaran violaciones de los derechos humanos o hicieran juicios sobre el valor de ciertos grupos.

El informe sugiere que comenzar con una premisa falsa es una forma más exitosa de manipular a los chatbots que las técnicas de hacking tradicionales. Los autores argumentan que las empresas de IA deberían centrarse en abordar los sesgos y las concepciones erróneas en lugar de realizar complicados hacks de respuestas. El informe llega en un momento en que las empresas de IA y los reguladores están utilizando cada vez más ejercicios de "red team" para evaluar los riesgos de los sistemas de IA. Estos ejercicios involucran la ayuda del público y capturan perspectivas diversas. Si bien los modelos de IA han avanzado en el abordaje de formas más simples de hacking de respuestas, todavía existen vulnerabilidades relacionadas con conversaciones largas. El informe concluye que la industria debe continuar poniendo a prueba técnicas para prepararse ante posibles daños futuros.