Äskettäinen arXiv-esiselvitys paljastaa, että tekoälyllä toimiva ideageneraattori ylitti 50 riippumatonta tutkijaa alkuperäisten tutkimuskonseptien tuottamisessa. Vaikka arvioijat antoivat tekoälyn ideoille korkeampia arvioita kuin ihmisten ideoille, tekoälyn ehdotukset olivat hieman vähemmän toteutettavissa. Asiantuntijat kuitenkin varoittavat, että vertaisarvioimattomalla tutkimuksella on rajoituksia, pääasiassa siksi, että se keskittyi yhteen tutkimusalueeseen ja vaati osallistujia tuottamaan ideoita aikarajoitteiden alla, mikä ei välttämättä edusta heidän parasta työtänsä. Kasvava kiinnostus siihen, kuinka suuret kielimallit (LLM:t), kuten ChatGPT:n taustalla olevat, voivat auttaa tutkimustehtävissä, kuten kirjoittamisessa ja kirjallisuuskatsauksessa, lisääntyy. Tekoälyn tuottamien ideoiden arviointi ihmisten ideoita vastaan on haastavaa idean arvioinnin subjektiivisen luonteen ja asiantuntija-arvioijien tarpeen vuoksi. Tutkimuksen yhteiskirjoittaja, Chenglei Si, painottaa, että suora vertailu on olennaista tekoälyn kykyjen kontekstualisoimiseksi. Hankkeeseen osallistui yli 100 luonnollisen kielen käsittelyn asiantuntijaa, joista 49 osallistujaa tuottivat ideoita tiettyihin aiheisiin kymmenen päivän aikana, motivoituna rahallisilla palkkioilla. Samanaikaisesti tutkijat käyttivät Claude 3. 5 LLM:ää, joka tuotti noin 4000 ideaa samoista aiheista ja sijoitti ne alkuperäisyyden mukaan. Arvioinnissa 79 arvioijaa arvioivat ideat uutuuden, innostavuuden, toteutettavuuden ja tehokkuuden perusteella.

Asenteellisuuden poistamiseksi LLM standardoi sekä tekoälyn että ihmisten tuottamien ideoiden esityksen. Keskimäärin tekoälyn ideat saivat korkeampia pisteitä alkuperäisyydestä ja innostavuudesta; kuitenkin syväanalyysi paljasti vain noin 200 4000 tekoälyideasta todella ainutlaatuisiksi. Monet ihmisen osallistujista myönsivät, että heidän panoksensa olivat vain keskimääräisiä verrattuna aikaisempaan työhönsä. Tutkimus viittaa siihen, että vaikka LLM:t saattavat tuottaa jonkin verran alkuperäisiä ideoita olemassaolevaan kirjallisuuteen verrattuna, on epävarmaa, voivatko ne ylittää ihmisen mullistavan ajattelun. Lisäksi vertailu sisälsi muokattuja esityksiä, jotka saattavat olla vaikuttaneet alkuperäisyyden käsityksiin. Jevin West Washingtonin yliopistosta korostaa reilujen vertailujen tärkeyttä ja huomauttaa, että tekoälyn nopea ideagenerointikyky voi vääristää tuloksia ihmisten kykyjä vastaan. Tulevaisuudessa Si ja hänen tiiminsä aikovat verrata tekoälyn tuottamia ideoita huippukonferenssipapereihin arvioidakseen paremmin LLM:ien tehokkuutta verrattuna ihmisen luovuuteen. He pyrkivät kannustamaan syvempään harkintaan tekoälyn roolista tutkimusprosessissa tulevaisuudessa.