Samkvæmt nýlegum preprint á arXiv stóð AI-knúinn hugmyndaframleiðandi sig betur en 50 sjálfstæðir vísindamenn í að framleiða upprunalegar rannsóknarhugmyndir. Þó að matsmenn hafi gefið hugmyndum AI hærri einkunn fyrir spennu en þeim frá mönnum, voru AI tillögur aðeins minna framkvæmanlegar. Hins vegar vara sérfræðingar við að óyfirfarinn rannsókn hafi takmarkanir, aðallega vegna þess að hún beindist að einu rannsóknarsviði og krafðist þess að þátttakendur framleiddu hugmyndir undir tímaskorti, sem gæti ekki endurspeglað bestu vinnu þeirra. Það er vaxandi áhugi á því hvernig stór tungumálamódel (LLM) eins og þau sem eru að baki ChatGPT, geta aðstoðað við rannsóknir eins og skrif og bókmenntagreiningu. Mat á hugmyndum frá AI samanborið við mannlegar hugmyndir er erfitt vegna huglægs eðlis hugmyndamats og þörf fyrir sérfræðinga. Rannsóknarhöfundurinn Chenglei Si leggur áherslu á að bein samanburður sé nauðsynlegur til að setja AI getu í samhengi. Verkefnið innihélt yfir 100 vísindamenn sem sérhæfa sig í náttúrumálavinnslu, með 49 þátttakendur sem framleiddu hugmyndir um sérstök efni í tíu daga, hvattir með peningagreiðslum. Á sama tíma notuðu vísindamennirnir Claude 3. 5 LLM, sem framleiddi um 4000 hugmyndir um sömu efni og raðaði þeim eftir upprunaleika. Í matsferlinu mátu 79 matsmenn hugmyndirnar út frá nýbreytni, spennu, framkvæmanleika og áhrifum.

Til að útrýma slagsíðu staðlaði LLM framsetningu bæði AI og mannframleiddra hugmynda. Að meðaltali fengu AI hugmyndir hærri einkunn fyrir upprunaleika og spennu; hins vegar leiddi ítarleg greining í ljós að aðeins um 200 af 4000 AI hugmyndum voru sannarlega einstakar. Margir mannlegar þátttakendur viðurkenndu að innsendingar þeirra væru aðeins meðalmeðaltal samanborið við fyrri vinnu. Rannsóknin bendir til þess að á meðan LLM geti framleitt nokkur nýstárlega hugmyndir samanborið við núverandi bókmenntir, sé ekki ljóst hvort þær geti farið fram yfir mannshugann sem brýtur ísinn. Að auki var samanburðurinn á ritgerðarbreyttum innsendingum sem gætu hafa haft áhrif á skynjun á nýbreytni. Jevin West frá Háskólanum í Washington undirstrikar mikilvægi réttláts samanburðar og bendir á að hröð hugmyndaframleiðsla AI gæti skekkt niðurstöður gegn mannlegri getu. Í framtíðinni áætlar Si og teymi hans að bera saman AI framleiddar hugmyndir við efstu ráðstefnuritgerðir til að meta betur virkni LLM samanborið við mannlegt sköpunargáfu. Þeir stefna að því að hvetja til dýpri umhugsunar um hlutverk AI í rannsóknarferlinu í framtíðinni.