Un generador d'idees impulsat per IA va superar 50 científics independents en la generació de conceptes de recerca originals, segons un preprint recent a arXiv. Mentre que els revisors van puntuar les idees de l'IA com més emocionants que les dels humans, les suggerències d'IA eren lleugerament menys factibles. No obstant això, els experts adverteixen que l'estudi no revisat per parells té limitacions, principalment perquè es va centrar en una àrea de recerca i va requerir que els participants produïssin idees sota restriccions de temps, cosa que podria no representar el seu millor treball. Hi ha un interès creixent en la forma en què els grans models de llenguatge (LLM), com els darrere de ChatGPT, poden ajudar en tasques de recerca com l'escriptura i la revisió de literatura. Avaluar les idees generades per IA en comparació amb les humanes és un repte a causa de la naturalesa subjectiva de l'avaluació d'idees i la necessitat d'avaluadors experts. Chenglei Si, coautor de l'estudi, subratlla que una comparació directa és essencial per contextualitzar les capacitats de l'IA. El projecte va involucrar més de 100 investigadors especialitzats en processament del llenguatge natural, amb 49 participants generant idees sobre temes específics durant deu dies, incentivats per recompenses monetàries. Simultàniament, els investigadors van utilitzar el LLM Claude 3. 5, que va generar unes 4. 000 idees sobre els mateixos temes, classificant les més originals. En l'avaluació, 79 revisors van avaluar les idees en novetat, emoció, factibilitat i efectivitat.

Per eliminar el biaix, un LLM va estandarditzar la presentació de les idees generades per IA i per humans. De mitjana, les idees d'IA van obtenir una puntuació més alta en originalitat i emoció; no obstant això, una anàlisi profunda va revelar que només unes 200 de les 4. 000 idees d'IA eren realment úniques. Molts participants humans van reconèixer que les seves presentacions eren només mitjanes en comparació amb treballs anteriors. L'estudi suggereix que, si bé els LLM poden generar idees una mica originals en comparació amb la literatura existent, queda incert si poden superar el pensament humà innovador. A més, la comparació va involucrar presentacions editades que podrien haver influenciat les percepcions de novetat. Jevin West de la Universitat de Washington subratlla la importància de comparacions justes, assenyalant que les capacitats ràpides de generació d'idees d'IA podrien distorsionar els resultats en contra de les capacitats humanes. Mirant endavant, Si i el seu equip planegen comparar les idees generades per IA amb els millors treballs de conferències per avaluar millor l'efectivitat dels LLM en relació amb la creativitat humana. L'objectiu és fomentar una consideració més profunda del paper de l'IA en el procés de recerca en el futur.