Според скорошен препринт на arXiv, генератор на оригинални идеи, захранван от AI, е превъзхождащ 50 независими учени в генерирането на оригинални изследователски концепции. Въпреки че рецензентите оцениха идеите на AI като по-вълнуващи от тези на хората, предложенията на AI бяха малко по-малко осъществими. Въпреки това, експертите предупреждават, че изследването, което не е рецензирано, има ограничения, главно защото се фокусира върху една изследователска област и изисква от участниците да генерират идеи под времеви ограничения, което може да не представлява тяхната най-добра работа. Има нарастващ интерес към това как големите езикови модели (LLMs), като тези зад ChatGPT, могат да подпомагат в изследователски задачи като писане и преглед на литература. Оценяването на идеи, генерирани от AI, спрямо човешки идеи е предизвикателство поради субективната природа на оценката на идеи и необходимостта от експертни оценители. Съавторът на изследването, Ченглей Си, подчертава, че директното сравнение е съществено за контекстуализиране на възможностите на AI. Проектът включва повече от 100 изследователи, специализиращи в обработка на естествен език, с 49 участници, които генерираха идеи по специфични теми през десет дни, стимулирани с парични награди. Едновременно с това изследователите използваха Claude 3. 5 LLM, който генерира около 4, 000 идеи по същите теми, като класира най-оригиналните. При оценяването 79 рецензенти оцениха идеите по оригиналност, вълнение, осъществимост и ефективност.

За да се елиминира пристрастие, един LLM стандартизира представянето на както AI-генерираните идеи, така и човешките идеи. Средно, идеите на AI получиха по-високи оценки за оригиналност и вълнение; въпреки това, дълбокият анализ разкри, че само около 200 от 4, 000 AI идеи са наистина уникални. Много човешки участници признаха, че техните предложения са средни в сравнение с предишната им работа. Изследването показва, че въпреки че LLMs могат да генерират до известна степен оригинални идеи в сравнение с наличната литература, все още е несигурно дали те могат да превъзхождат революционната човешка мисъл. Освен това, сравнението включваше редактирани предложения, които могат да са повлияли върху възприятията за оригиналност. Джефин Уест от Университета на Вашингтон подчертава важността на справедливи сравнения, посочвайки, че бързите способности на AI за генериране на идеи биха могли да изкривят резултатите срещу човешките способности. Напред Си и неговият екип планират да сравнят AI-генерираните идеи с най-добрите конференционни статии, за да оценят по-добре ефективността на LLMs относно човешката креативност. Те целят да насърчат по-задълбочено обмисляне на ролята на AI в изследователския процес в бъдеще.