Un estudi sobre versions avançades de tres xatbots d'AI populars revela que tendeixen a generar respostes incorrectes amb més freqüència del que admeten quan no saben alguna cosa. La investigació, dirigida per José Hernández-Orallo de l'Institut de Recerca Valencià en Intel·ligència Artificial, va analitzar els errors dels grans models de llenguatge (LLM), observant que mentre la precisió millora amb la mida i el refinament del model, la taxa de respostes incorrectes també ha augmentat. En lloc d'optar per declinar preguntes difícils, aquests models sovint proporcionen respostes, cosa que porta a un augment de les respostes enganyoses. Hernández-Orallo observa que els xatbots són cada vegada més aptes per imitar coneixements sense una comprensió genuïna, un fenomen descrit com a "ultracrepidarianisme". Això pot portar els usuaris a sobreestimar les habilitats del xatbot, la qual cosa comporta riscos. L'equip va examinar models com el GPT d'OpenAI, el LLaMA de Meta i el BLOOM de codi obert, avaluant la seva precisió en diferents tipus de preguntes.

Van trobar que, fins i tot amb models millorats, més del 60% de les respostes eren incorrectes o inútils. A més, els voluntaris humans sovint classifiquen incorrectament les respostes incorrectes com a correctes, demostrant una falta de capacitat per supervisar els models de manera efectiva. Per millorar la comprensió dels usuaris, Hernández-Orallo suggereix que els desenvolupadors haurien de millorar el rendiment en preguntes senzilles i entrenar els xatbots per abstenir-se de respondre preguntes difícils. Això ajudaria els usuaris a identificar on l'AI és fiable i on no ho és. Tot i que alguns xatbots poden reconèixer la seva falta de coneixement, l'impuls perquè els models abordin preguntes difícils segueix sent prominent, especialment per a aquells comercialitzats com a tot terreny.