Генератор кој користи AI за идеи, надминува 50 независни научници во генерирање на оригинални истражувачки концепти, според нов преглед на arXiv. Додека рецензентите ги оценувале идеите на AI како поинтересни од оние на луѓето, AI сугестиите биле малку помалку изводливи. Сепак, експертите предупредуваат дека студијата, која не е подвргната на рецензија, има ограничувања, главно затоа што се фокусирала на едно истражувачко подрачје и од учесниците се барало да произведат идеи во ограничено време, што можеби не го претставува нивното најдобро дело. Постојано расте интересот за тоа како големи јазични модели (LLM), како оние зад ChatGPT, можат да помогнат во истражувачки задачи како што се пишувањето и прегледувањето на литературата. Евалуацијата на идеи генерирани од AI наспроти човечки идеи е предизвик поради субјективната природа на оценувањето на идеите и потребата од експертни рецензенти. Коавторот на студијата, Ченглеи Си, нагласува дека директната споредба е потребна за да се контекстуализираат способностите на AI. Проектот вклучуваше над 100 истражувачи специјализирани за природна јазична обработка, со 49 учесници кои генерираа идеи на одредени теми во текот на десет дена, со финансиска награда како мотив. Истовремено, истражувачите го користеа Claude 3. 5 LLM, кој генерираше околу 4, 000 идеи на истите теми, рангирајќи ги најоригиналните. Во оценувањето, 79 рецензенти ги оценуваа идеите според новина, возбудливост, изводливост и ефективност.

За да се елиминира пристрасноста, LLM го стандардизираше прикажувањето на идеите генерирани од AI и човечките идеи. Во просек, идеите на AI добиле повисоки оценки за оригиналност и возбудливост; меѓутоа, длабинската анализа покажа дека само околу 200 од 4, 000 AI идеи биле навистина уникатни. Многу човечки учесници признаваат дека нивните поднесоци биле само просечни во споредба со нивната претходна работа. Студијата сугерира дека иако LLM може да генерира донекаде оригинални идеи во споредба со постоечката литература, дали тие можат да ја надминат револуционерната човечка мисла останува неизвесно. Дополнително, споредбата вклучувала уредени поднесоци кои можат да влијаат на перцепциите на новина. Џевин Вест од Универзитетот во Вашингтон ја нагласува важноста на фер споредби, посочувајќи дека брзите способности за генерирање идеи на AI можат да ги искриват резултатите наспроти човечките способности. Во иднина, Си и неговиот тим планираат да ги споредат идеите генерирани од AI со врвни конференциски трудови за подобро да ја оценат ефективноста на LLM во однос на човечката креативност. Нивната цел е да поттикнат подлабоко разгледување на улогата на AI во истражувачкиот процес во иднина.