Gli esseri umani commettono frequentemente errori sia in compiti nuovi che di routine, che vanno da quelli minori a quelli catastrofici, che possono erodere la fiducia e potenzialmente avere conseguenze di vita o di morte. Nel tempo, abbiamo sviluppato sistemi di sicurezza per mitigare gli errori umani, come la rotazione dei croupier nei casinò e le precauzioni durante gli interventi chirurgici. Questi sistemi si basano sulla prevedibilità degli errori umani, che spesso si verificano ai confini della conoscenza o a causa di fattori come la fatica. Al contrario, l'intelligenza artificiale (IA), in particolare i modelli di linguaggio di grandi dimensioni (LLM), sta venendo integrata nella società, presentando un profilo di errore diverso. Gli errori dell'IA sono imprevedibili e possono manifestarsi casualmente, senza concentrarsi su argomenti specifici. Gli LLM possono commettere errori bizzarri, come suggerire scenari improbabili.

A differenza degli esseri umani, i sistemi di IA mostrano fiducia sia nei risultati corretti che in quelli errati, creando problemi di fiducia nei compiti complessi. Per affrontare queste sfide specifiche dell'IA, la ricerca si concentra su due aree: ingegnerizzare gli LLM affinché commettano errori più simili a quelli umani e sviluppare nuovi sistemi per affrontare gli errori unici dell'IA. Si utilizzano approcci come l'apprendimento per rinforzo con feedback umano per allineare il comportamento dell'IA alla comprensione umana. I metodi esistenti per prevenire gli errori umani, come il controllo doppio del lavoro, possono essere applicati all'IA, ma sono necessarie soluzioni più innovative. A differenza degli esseri umani, l'IA può gestire domande ripetitive, e porre la stessa domanda in modi diversi può essere una strategia per ridurre gli errori. Ci sono anche sorprendenti somiglianze tra l'errore umano e l'errore dell'IA, come il problema della sensibilità al prompt negli LLM, dove piccole modifiche nella formulazione portano a risposte diverse, simili ai bias nei sondaggi umani. L'IA mostra anche stranezze come la ripetizione di termini familiari a causa di bias. Alcune tattiche intriganti per manipolare i sistemi di IA, come l'uso di arte ASCII per aggirare le restrizioni, evidenziano sia le vulnerabilità uniche dell'IA che i potenziali parallelismi con il comportamento umano. In definitiva, mentre gli esseri umani raramente commettono errori casuali ed erratici, i sistemi di IA dovrebbero essere limitati a compiti decisionali che si allineano alle loro capacità, considerando i loro distinti schemi di errore.