Un generator de idei bazat pe inteligență artificială a depășit 50 de oameni de știință independenți în generarea de concepte de cercetare originale, conform unui preprint recent pe arXiv. Deși recenzorii au evaluat ideile AI ca fiind mai incitante decât cele generate de oameni, sugestiile AI au fost ușor mai puțin fezabile. Cu toate acestea, experții avertizează că studiul, care nu a fost evaluat de colegi, are limitări, în principal datorită faptului că s-a concentrat pe un singur domeniu de cercetare și a cerut participanților să producă idei sub constrângeri de timp, ceea ce poate să nu reprezinte cel mai bun muncă a lor. Există un interes crescând în modul în care modelele mari de limbaj (LLM), precum cele din spatele ChatGPT, pot asista în sarcini de cercetare, cum ar fi scrierea și revizuirea literaturii. Evaluarea ideilor generate de AI versus cele umane este provocatoare din cauza naturii subiective a evaluării ideilor și a necesității evaluatorilor experți. Co-autorul studiului, Chenglei Si, subliniază că o comparație directă este esențială pentru a contextualiza capacitățile AI. Proiectul a implicat peste 100 de cercetători specializați în procesarea limbajului natural, cu 49 de participanți generând idei pe teme specifice timp de zece zile, stimulați prin recompense financiare. Simultan, cercetătorii au utilizat Claude 3. 5 LLM, care a generat aproximativ 4. 000 de idei pe aceleași teme, clasând cele mai originale. În evaluare, 79 de recenzori au evaluat ideile în funcție de noutate, entuziasm, fezabilitate și eficacitate.

Pentru a elimina părtinirea, un LLM a standardizat prezentarea ideilor generate de AI și de oameni. În medie, ideile AI au obținut scoruri mai mari pentru originalitate și entuziasm; totuși, o analiză aprofundată a relevat doar aproximativ 200 din 4. 000 de idei AI ca fiind cu adevărat unice. Mulți din participanții umani au recunoscut că trimiterile lor au fost doar medii în comparație cu lucrările anterioare. Studiul sugerează că, în timp ce LLM-urile ar putea genera idei oarecum originale comparativ cu literatura existentă, dacă ele pot depăși gândirea revoluționară umană rămâne incert. În plus, comparația a implicat trimiteri editate care ar fi putut influența percepțiile asupra noutății. Jevin West de la Universitatea din Washington subliniază importanța comparațiilor corecte, menționând că abilitatea rapidă de generare de idei a AI poate distorsiona rezultatele împotriva capacităților umane. Privind spre viitor, Si și echipa sa planifică să compare ideile generate de AI cu cele mai bune lucrări de la conferințe pentru a evalua mai bine eficacitatea LLM-urilor în raport cu creativitatea umană. Ei își propun să încurajeze o considerație mai profundă a rolului AI în procesul de cercetare în viitor.