Un informe reciente destaca los problemas potenciales de los chatbots de IA y su susceptibilidad para producir respuestas inexactas. El informe detalla los hallazgos de un concurso llevado a cabo en la convención de hacking Def Con, en el que los participantes intentaron inducir a los chatbots a generar respuestas problemáticas. El concurso reveló que los chatbots eran fácilmente engañados para producir información matemática y geográfica incorrecta, y también tendían a difundir información legal errónea. Además, se descubrió que los chatbots eran inadecuados para proteger información sensible, y más de la mitad de las soluciones presentadas lograron vulnerar las medidas de seguridad.

Sin embargo, los concursantes tuvieron dificultades para lograr que los chatbots justificaran violaciones de los derechos humanos o promovieran opiniones discriminatorias. El informe sugiere que empezar desde una premisa falsa es la forma más efectiva de manipular a los chatbots, ya que es más probable que acepten y amplíen afirmaciones o suposiciones incorrectas. Los hallazgos resaltan la necesidad de que las empresas de IA y los reguladores prioricen abordar los sesgos y malentendidos de los chatbots. Las pruebas de simulación de ataque, como el concurso en Def Con, se consideran valiosas para identificar vulnerabilidades y capturar una amplia gama de perspectivas.