Tehisintellekti toega ideegeneraator edestas 50 sõltumatut teadlast originaalsete teadusuuringute ideede loomisel, nagu hiljuti avaldatud eeltrükis arXivis. Kuigi hindajad pidasid tehisintellekti ideid põnevamaks kui inimeste omi, olid AI ettepanekud mõnevõrra vähem teostatavad. Kuid eksperdid hoiatavad, et ülevaatamata uuringul on piiranguid, peamiselt seetõttu, et see keskendus ühele uurimisvaldkonnale ja nõudis osalejatelt ideede loomist aja piiranguga, mis ei pruugi kajastada nende parimat tööd. Kasvav huvi on selle vastu, kuidas suured keelemudelid (LLM-id), nagu need, mis on ChatGPT taga, võivad aidata uurimistöös, näiteks kirjutamisel ja kirjanduse ülevaates. AI loodud ideede ja inimeste ideede hindamine on keeruline ideede hindamise subjektiivse olemuse ja ekspertide hindajate vajaduse tõttu. Uuringu kaasautor Chenglei Si rõhutab, et otsene võrdlus on oluline AI võimete kontekstualiseerimiseks. Projektis osales üle 100 looduskeele töötlemise spetsialisti, kus 49 osalejat genereeris teatud teemadel ideid kümne päeva jooksul, motiveerituna rahaliste preemiate kaudu. Samal ajal kasutasid teadlased Claude 3. 5 LLM-i, mis genereeris umbes 4000 ideed samadel teemadel, järjestades kõige originaalsemad. Hindamisel hindas 79 ülevaatajat ideid uudsuse, põnevuse, teostatavuse ja tõhususe osas.

Eelarvamuste kõrvaldamiseks standardiseeris LLM nii AI kui ka inimeste loodud ideede esitluse. Keskmiselt said AI ideed kõrgemaid punkte originaalsuse ja põnevuse eest; kuid süvitsi analüüs näitas, et umbes 4000 AI ideest oli tõeliselt ainulaadseid vaid umbes 200. Paljud inimosalejad tunnistasid, et nende esildised olid võrreldes varasema tööga ainult keskmised. Uuring viitab, et kuigi LLM-id võivad olemasoleva kirjanduse taustal genereerida mõnevõrra originaalseid ideid, jääb ebaselgeks, kas nad võivad ületada teedrajava inimliku mõtlemise. Lisaks hõlmas võrdlus redigeeritud esildisi, mis võisid mõjutada uudsuse tajumist. Jevin West Washingtoni Ülikoolist rõhutab õiglasemate võrdluste tähtsust, märkides, et tehisintellekti kiire ideede genereerimise võime võib tulemusi inimvõimete kahjuks kallutada. Tulevikku vaadates kavatsevad Si ja tema meeskond võrrelda AI loodud ideid tippkonverentside artiklitega, et paremini hinnata LLM-ide tõhusust võrreldes inimloomingulisusega. Nad loodavad julgustada tulevases uurimisprotsessis tehisintellekti rolli süvitsi kaaluma.