Згідно з нещодавно опублікованим препринтом на arXiv, генератор ідей на основі штучного інтелекту перевершив 50 незалежних науковців у створенні оригінальних дослідницьких концепцій. Хоча рецензенти оцінювали ідеї ШІ як більш захоплюючі, ніж ідеї людей, пропозиції ШІ були трохи менш здійсненними. Однак експерти застерігають, що дослідження має обмеження, головним чином через те, що воно зосереджувалося на одній галузі досліджень і вимагало від учасників генерувати ідеї в умовах обмеженого часу, що може не відображати їх найкращі роботи. Зростає інтерес до того, як великі мовні моделі (LLM), такі як ті, що лежать в основі ChatGPT, можуть допомогти в дослідницьких завданнях, таких як написання та огляд літератури. Оцінка ідей, створених ШІ, порівняно з людськими ідеями, є складною через суб’єктивну природу оцінки ідей та необхідність експертних оцінювачів. Співавтор дослідження Ченлей Си наголошує, що пряме порівняння є важливим для контекстуалізації можливостей ШІ. Проект залучив понад 100 дослідників, які спеціалізуються на обробці природної мови, причому 49 з них генерували ідеї з конкретних тем протягом десяти днів, стимулюючись матеріальними винагородами. Одночасно дослідники використовували Claude 3. 5 LLM, який згенерував близько 4000 ідей з тих самих тем, ранжуючи найбільш оригінальні. В оцінці 79 рецензентів оцінювали ідеї за новизною, захоплюючістю, здійсненістю та ефективністю.

Щоб усунути упередженість, LLM стандартизував подачу як ідей, створених ШІ, так і людей. В середньому ідеї ШІ отримували вищі бали за оригінальність і захоплюючість; проте глибокий аналіз виявив лише близько 200 з 4000 ідей ШІ як дійсно унікальні. Багато людських учасників визнали, що їхні подання були лише середніми порівняно з попередніми роботами. Дослідження припускає, що хоча LLM можуть генерувати дещо оригінальні ідеї порівняно з існуючою літературою, чи можуть вони перевершити передові людські думки, залишається невизначеним. Крім того, порівняння включало відредаговані подання, що могло вплинути на сприйняття новизни. Джевін Вест з Вашингтонського університету підкреслює важливість справедливих порівнянь, зазначаючи, що швидкі можливості генерації ідей ШІ можуть спотворити результати на шкоду людським можливостям. На майбутнє Сі та його команда планують порівняти ідеї, створені штучним інтелектом, з найкращими конференційними роботами, щоб краще оцінити ефективність LLM порівняно з людською креативністю. Вони прагнуть заохотити глибший розгляд ролі ШІ в дослідницькому процесі в майбутньому.