Generator ideja zasnovan na veštačkoj inteligenciji nadmašio je 50 nezavisnih naučnika u generisanju originalnih istraživačkih koncepata, prema nedavnom preprintu na arXivu. Iako su recenzenti ocenili AI ideje kao uzbudljivije od onih koje su dali ljudi, AI sugestije su bile nešto manje izvodljive. Međutim, stručnjaci upozoravaju da studija, koja nije prošla kvalitetnu recenziju, ima ograničenja, uglavnom zbog toga što se fokusirala na jednu oblast istraživanja i zahtevala od učesnika da proizvode ideje pod vremenskim pritiskom, što možda nije njihovo najbolje delo. Raste interesovanje za to kako veliki jezički modeli (LLM), poput onih iza ChatGPT-a, mogu pomoći u istraživačkim zadacima kao što su pisanje i pregled literature. Evaluacija ideja generisanih od strane AI u odnosu na ljudske ideje je izazov zbog subjektivne prirode procene ideja i potrebe za stručnim evaluatorima. Koautor studije, Čenglei Si, naglašava da je direktno poređenje neophodno da bi se kontekstualizovale AI sposobnosti. Projekat je uključivao preko 100 istraživača specijalizovanih za obradu prirodnog jezika, sa 49 učesnika koji su generisali ideje na specifične teme tokom deset dana, motivisani novčanim nagradama. Istovremeno, istraživači su koristili Claude 3. 5 LLM, koji je generisao oko 4. 000 ideja na iste teme, rangirajući one najoriginalnije. U proceni je učestvovalo 79 recenzenata koji su ocenjivali ideje na osnovu noviteta, uzbuđenja, izvodljivosti i efikasnosti.

Da bi se eliminisala pristrasnost, LLM je standardizovao prezentaciju kako ideja generisanih od strane AI, tako i onih generisanih od strane ljudi. U proseku, AI ideje su postigle veće ocene za originalnost i uzbuđenje; međutim, duboka analiza je otkrila da je među 4. 000 AI ideja oko 200 zaista jedinstveno. Mnogi ljudski učesnici su priznali da su njihovi prilozi bili samo prosečni u poređenju sa prethodnim radom. Studija sugeriše da, iako LLM-ovi možda generišu donekle originalne ideje u poređenju sa postojećom literaturom, ostaje neizvesno da li mogu nadmašiti revolucionarnu ljudsku misao. Pored toga, poređenje je uključivalo uređene radove koji su možda uticali na ocene originalnosti. Jevin Vest sa Univerziteta u Vašingtonu ističe važnost pravičnih poređenja, naglašavajući da brze sposobnosti generisanja ideja od strane AI mogu iskriviti rezultate u odnosu na ljudske sposobnosti. Gledajući unapred, Si i njegov tim planiraju da uporede AI-generisane ideje sa vodećim radovima sa konferencija kako bi bolje ocenili efikasnost LLM-ova u odnosu na ljudsku kreativnost. Cilj im je da podstaknu dublje razmatranje uloge AI u istraživačkom procesu u budućnosti.