Els humans sovint cometen errors tant en tasques noves com habituals, oscil·lant entre errors menors i catàstrofes que poden erosionar la confiança i, potencialment, tenir conseqüències de vida o mort. Amb el temps, hem desenvolupat sistemes de seguretat per mitigar errors humans, com ara el relleu de croupiers als casinos i les precaucions durant les cirurgies. Aquests sistemes es basen en la predictibilitat dels errors humans, que sovint ocorren en els límits del coneixement o a causa de factors com la fatiga. En canvi, la intel·ligència artificial (IA), específicament els grans models de llenguatge (LLM), s’estan integrant a la societat presentant un perfil d'error diferent. Els errors d'IA són impredictibles i poden ocórrer aleatòriament, sense agrupar-se al voltant de temes específics. Els LLM poden cometre errors estranys, com suggerir escenaris improbables.

A diferència dels humans, els sistemes d'IA mostren confiança tant en resultats correctes com erronis, creant problemes de confiança en tasques complexes. Per abordar aquests reptes específics de l'IA, la recerca se centra en dues àrees: enginyeria dels LLM per cometre errors més semblants als humans i el desenvolupament de nous sistemes per tractar els errors únics de la IA. S’utilitzen enfocaments com l'aprenentatge reforçat amb retroalimentació humana per alinear el comportament de l'IA amb la comprensió humana. Els mètodes existents de prevenció d'errors humans, com revisar el treball dues vegades, es poden aplicar a la IA, però es necessiten solucions més innovadores. A diferència dels humans, la IA pot gestionar preguntes repetitives, i formular la mateixa pregunta de diferents maneres pot ser una estratègia per reduir errors. També hi ha sorprenents similituds entre l'error de la IA i el dels humans, com la sensibilitat al prompt en els LLM, on petits canvis en la redacció resulten en diferents respostes, similar als biaixos de les enquestes humanes. La IA també demostra peculiaritats com repetir termes familiars a causa del biaix. Tàctiques intrigants per manipular sistemes d'IA, com l'ús d'art ASCII per sortejar restriccions, ressalten tant les vulnerabilitats úniques de la IA com els possibles paral·lelismes amb el comportament humà. En última instància, mentre que els humans poques vegades cometen errors aleatoris i erràtics, els sistemes d'IA haurien d'estar restringits a tasques de presa de decisions que s'alineen amb les seves capacitats, tenint en compte els seus patrons d'error distintius.