Un générateur d’idées basé sur l’IA a surpassé 50 scientifiques indépendants dans la génération de concepts de recherche originaux, selon une prépublication récente sur arXiv. Bien que les évaluateurs aient jugé les idées de l’IA plus passionnantes que celles des humains, les suggestions de l’IA étaient légèrement moins réalisables. Cependant, les experts mettent en garde contre les limitations de l’étude non révisée par les pairs, principalement parce qu’elle se concentrait sur un domaine de recherche et exigeait des participants de produire des idées sous des contraintes de temps, ce qui peut ne pas représenter leur meilleur travail. Il y a un intérêt croissant pour la façon dont les grands modèles linguistiques (LLM), comme ceux derrière ChatGPT, peuvent aider dans des tâches de recherche telles que la rédaction et la revue de la littérature. Évaluer les idées générées par l’IA par rapport à celles des humains est difficile en raison de la nature subjective de l’évaluation des idées et de la nécessité d’évaluateurs experts. Chenglei Si, co-auteur de l’étude, souligne qu’une comparaison directe est essentielle pour contextualiser les capacités de l’IA. Le projet impliquait plus de 100 chercheurs spécialisés en traitement du langage naturel, avec 49 participants générant des idées sur des sujets spécifiques pendant dix jours, motivés par des récompenses monétaires. En même temps, les chercheurs ont employé le LLM Claude 3. 5, qui a généré environ 4 000 idées sur les mêmes thèmes, classant les plus originales. Lors de l'évaluation, 79 évaluateurs ont évalué les idées sur la nouveauté, l'excitation, la faisabilité et l'efficacité.

Pour éliminer les biais, un LLM a standardisé la présentation des idées générées par l’IA et par les humains. En moyenne, les idées de l’IA ont obtenu des scores plus élevés en termes d’originalité et d’excitation ; cependant, une analyse approfondie a révélé que seulement environ 200 des 4 000 idées de l'IA étaient vraiment uniques. De nombreux participants humains ont reconnu que leurs soumissions n’étaient que moyennes par rapport à leurs travaux précédents. L’étude suggère que bien que les LLM puissent produire des idées quelque peu originales par rapport à la littérature existante, il reste incertain de savoir s’ils peuvent surpasser la pensée humaine innovante. En outre, la comparaison impliquait des soumissions éditées qui ont pu influencer les perceptions de la nouveauté. Jevin West de l’Université de Washington souligne l’importance de comparaisons équitables, en notant que les capacités rapides de génération d’idées de l’IA pourraient fausser les résultats contre les capacités humaines. En perspective, Si et son équipe prévoient de comparer les idées générées par l’IA avec les meilleurs articles de conférence pour mieux évaluer l’efficacité des LLM par rapport à la créativité humaine. Ils visent à encourager une réflexion plus approfondie sur le rôle de l’IA dans le processus de recherche à l’avenir.