Generátor nápadov s podporou AI prekonal 50 nezávislých vedcov v generovaní originálnych výskumných konceptov, podľa nedávneho preprintu na arXiv. Zatiaľ čo recenzenti hodnotili nápady AI ako vzrušujúcejšie než nápady ľudí, návrhy AI boli o niečo menej realizovateľné. Odborníci však upozorňujú, že nepeer-reviewed štúdia má obmedzenia, hlavne pretože sa zameriavala na jednu výskumnú oblasť a požadovala účastníkov, aby produkovali nápady pod časovým tlakom, čo nemusí predstavovať ich najlepšiu prácu. Rastie záujem o to, ako veľké jazykové modely (LLM), ako tie za ChatGPT, môžu pomáhať v úlohách výskumu, ako je písanie a prehľad literatúry. Hodnotenie nápadov generovaných AI oproti ľudským nápadom je náročné kvôli subjektívnej povahe hodnotenia nápadov a potrebe odborných hodnotiteľov. Spoluautor štúdie, Chenglei Si, zdôrazňuje, že priame porovnanie je nevyhnutné na kontextualizovanie schopností AI. Projekt zahrnul viac ako 100 výskumníkov špecializujúcich sa na spracovanie prirodzeného jazyka, pričom 49 účastníkov generovalo nápady na konkrétne témy počas desiatich dní a boli motivovaní peňažnými odmenami. Súčasne výskumníci použili Claude 3. 5 LLM, ktorý generoval približne 4 000 nápadov na rovnaké témy, z ktorých boli vybrané najoriginálnejšie. V hodnotení, 79 recenzentov hodnotilo nápady z hľadiska novosti, vzrušenia, realizovateľnosti a efektívnosti.

Na elimináciu zaujatosti, LLM standardizoval prezentáciu nápadov generovaných AI aj ľuďmi. V priemere nápady AI dosiahli vyššie skóre pre originalitu a vzrušenie; avšak hlboká analýza odhalila len okolo 200 zo 4 000 nápadov AI ako skutočne unikátne. Mnohí ľudskí účastníci priznali, že ich príspevky boli len priemerné v porovnaní s predchádzajúcou prácou. Štúdia naznačuje, že zatiaľ čo LLM môžu generovať pomerne originálne nápady v porovnaní s existujúcou literatúrou, či môžu prekonať priekopnícku ľudskú myšlienku zostáva neisté. Navyše, porovnanie zahrnuje upravované príspevky, ktoré mohli ovplyvniť vnímanie novosti. Jevin West z University of Washington zdôrazňuje dôležitosť spravodlivých porovnaní, poukazujúc na to, že rýchle generovanie nápadov AI by mohlo skresliť výsledky proti ľudským schopnostiam. V budúcnosti Si a jeho tím plánujú porovnať nápady generované AI s vrcholnými konferenčnými prácami, aby lepšie hodnotili efektívnosť LLM vzhľadom k ľudskej kreativite. Cieľom je povzbudenie hlbšej úvahy o úlohe AI v procese výskumu v budúcnosti.