Az arXiv-on nemrég megjelent előnyomtatás szerint egy mesterséges intelligenciával támogatott ötletgenerátor felülmúlta 50 független tudóst az eredeti kutatási koncepciók generálásában. Míg az értékelők az MI ötleteit izgalmasabbnak találták az emberekénél, az MI javaslatai kicsit kevésbé voltak megvalósíthatók. Azonban a szakértők figyelmeztetnek, hogy az ellenőrzés nélküli tanulmánynak vannak korlátai, elsősorban azért, mert egy kutatási területre összpontosított és időkorlátok között kérte a résztvevőktől az ötletek előállítását, amely talán nem képviseli a legjobb munkájukat. Egyre nagyobb az érdeklődés az iránt, hogy a nagy nyelvi modellek (LLM-ek), mint például a ChatGPT mögött állók, hogyan segíthetik a kutatási feladatokat, mint például az írás és irodalom áttekintés. Az MI által generált ötletek és az emberi ötletek értékelése kihívást jelent az ötletértékelés szubjektív jellege és a szakértői értékelők szükségessége miatt. A tanulmány társszerzője, Chenglei Si hangsúlyozza, hogy az MI képességeinek kontextualizálása érdekében elengedhetetlen a közvetlen összehasonlítás. A projekt több mint 100 kutatót von be, akik a természetes nyelvfeldolgozásra specializálódtak, és 49 résztvevő tíz nap alatt generált ötleteket konkrét témákra anyagi jutalmak ösztönzésével. Ezzel egy időben a kutatók a Claude 3. 5 LLM-et alkalmazták, amely ugyanazon témákban körülbelül 4000 ötletet generált, rangsorolva a legeredetibbeket. Az értékelés során 79 értékelő értékelt ötleteket újdonság, izgalom, megvalósíthatóság és hatékonyság szempontjából.

Az elfogultság kiküszöbölése érdekében egy LLM szabványosította az MI- és emberi ötletek bemutatását. Átlagosan az MI ötletek magasabb pontszámot értek el eredetiség és izgalom terén; egy mély elemzés azonban kimutatta, hogy a 4000 MI ötlet közül csak körülbelül 200 volt valóban egyedi. Sok emberi résztvevő elismerte, hogy benyújtásaik csak átlagosak voltak a korábbi munkáikhoz képest. A tanulmány arra utal, hogy míg az LLM-ek némileg eredeti ötleteket generálhatnak a meglévő irodalomhoz képest, az még bizonytalan, hogy meghaladja-e az emberi gondolkodás forradalmi mértékét. Ezenkívül az összehasonlítás szerkesztett beküldéseket tartalmazott, amelyek befolyásolhatták az újdonság észlelését. Jevin West, a Washingtoni Egyetem munkatársa hangsúlyozza a tisztességes összehasonlítások fontosságát, rámutatva, hogy az MI gyors ötletgenerálási képességei torzíthatják az eredményeket az emberi képességekkel szemben. A jövőre tekintve Si és csapata tervezi az MI által generált ötletek összehasonlítását a vezető konferenciai dolgozatokkal, hogy jobban értékelje az LLM-ek hatékonyságát az emberi kreativitással szemben. Arra törekszenek, hogy ösztönözzék az MI szerepének mélyebb megfontolását a kutatási folyamatban a jövőben.