Generator idej, ki ga poganja umetna inteligenca, je po nedavnem preprintu na arXiv prehitel 50 neodvisnih znanstvenikov pri ustvarjanju izvirnih raziskovalnih konceptov. Čeprav so ocenjevalci AI-jeve ideje ocenili kot bolj vznemirljive kot človeške, so bile AI-predloge nekoliko manj izvedljive. Vendar strokovnjaki opozarjajo, da nepeer-reviewed študija ima omejitve, predvsem zato, ker se je osredotočila na eno raziskovalno področje in zahtevala od udeležencev, da ustvarjajo ideje pod časovnimi omejitvami, kar morda ne predstavlja njihovega najboljšega dela. Povečuje se zanimanje za to, kako lahko veliki jezikovni modeli (LLM), kot je tisti za ChatGPT, pomagajo pri raziskovalnih nalogah, kot so pisanje in pregled literature. Vrednotenje AI-generiranih idej v primerjavi s človeškimi je težavno zaradi subjektivne narave ocenjevanja idej in potrebe po strokovnih ocenjevalcih. Soavtor študije, Chenglei Si, poudarja, da je neposredna primerjava bistvena za kontekstualizacijo sposobnosti AI. Projekt je vključeval več kot 100 raziskovalcev, specializiranih za obdelavo naravnega jezika, pri čemer je 49 udeležencev ustvarilo ideje o določenih temah v desetih dneh, motivirane z denarnimi nagradami. Hkrati so raziskovalci uporabili LLM Claude 3. 5, ki je ustvaril približno 4000 idej na iste teme, razvrščene na najbolj izvirne. Pri ocenjevanju je 79 ocenjevalcev ocenjevalo ideje glede na novost, vznemirljivost, izvedljivost in učinkovitost.

Da bi odpravili pristranskost, je LLM standardiziral predstavitev tako AI- kot človeško-generiranih idej. V povprečju so AI-ideje dosegle višje ocene za izvirnost in vznemirljivost; vendar je poglobljena analiza pokazala, da je bilo le okoli 200 od 4000 AI-idej resnično edinstvenih. Mnogi človeški udeleženci so priznali, da so njihove predloge bile povprečne v primerjavi s prejšnjim delom. Študija kaže, da čeprav LLM-ji lahko ustvarijo nekoliko izvirne ideje v primerjavi z obstoječo literaturo, ostaja negotovo, ali lahko presežejo prelomno človeško razmišljanje. Poleg tega je primerjava vključevala urejene predloge, ki so lahko vplivale na zaznavanje novosti. Jevin West z Univerze v Washingtonu poudarja pomembnost poštenih primerjav, pri čemer opozarja, da bi lahko hitre zmožnosti generiranja idej AI pristransko vplivale na rezultate v primerjavi s človeškimi sposobnostmi. V prihodnje namerava Si in njegova ekipa primerjati AI-generirane ideje z najboljšimi konferenčnimi prispevki, da bi bolje ocenili učinkovitost LLM-jev v primerjavi s človeško ustvarjalnostjo. Želijo spodbuditi globljo razmišljanje o vlogi AI v raziskovalnem procesu v prihodnosti.