Los seres humanos frecuentemente cometen errores en tareas tanto nuevas como rutinarias, que varían desde errores menores hasta catastróficos, los cuales pueden erosionar la confianza y potencialmente tener consecuencias de vida o muerte. Con el tiempo, hemos desarrollado sistemas de seguridad para mitigar los errores humanos, como rotar a los crupieres en los casinos y tomar precauciones durante las cirugías. Estos sistemas se basan en la previsibilidad de los errores humanos, que a menudo ocurren en los límites del conocimiento o debido a factores como la fatiga. En contraste, la inteligencia artificial (IA), específicamente los modelos de lenguaje amplio (LLM), se está integrando en la sociedad, presentando un perfil de error diferente. Los errores de IA son impredecibles y pueden ocurrir al azar, sin agruparse en temas específicos. Los LLM pueden cometer errores extraños, como sugerir escenarios improbables.

A diferencia de los humanos, los sistemas de IA muestran confianza en salidas tanto correctas como incorrectas, lo que genera problemas de confianza en tareas complejas. Para abordar estos desafíos específicos de IA, la investigación se centra en dos áreas: diseñar los LLM para que cometan errores más parecidos a los humanos y desarrollar nuevos sistemas para enfrentar los errores únicos de la IA. Se están utilizando enfoques como el aprendizaje por refuerzo con retroalimentación humana para alinear el comportamiento de la IA con la comprensión humana. Los métodos existentes de prevención de errores humanos, como la doble verificación del trabajo, pueden aplicarse a la IA, pero se necesitan soluciones más innovadoras. A diferencia de los humanos, la IA puede manejar preguntas repetitivas, y hacer la misma pregunta de diferentes maneras puede ser una estrategia para reducir errores. También hay sorprendentes similitudes entre los errores de la IA y los humanos, como el problema de la sensibilidad al contexto en los LLM, donde ligeros cambios en la redacción producen diferentes respuestas, similar a los sesgos en encuestas humanas. La IA también muestra peculiaridades como repetir términos familiares debido al sesgo. Algunas tácticas intrigantes para manipular sistemas de IA, como usar arte ASCII para eludir restricciones, resaltan tanto las vulnerabilidades únicas de la IA como los posibles paralelismos con el comportamiento humano. En última instancia, mientras los humanos rara vez cometen errores aleatorios y erráticos, los sistemas de IA deberían limitarse a tareas de toma de decisiones que se alineen con sus capacidades, considerando sus patrones de error distintivos.