Penghasil idea berkuasa AI mengatasi 50 saintis bebas dalam menghasilkan konsep penyelidikan asli, menurut pracetak baru-baru ini di arXiv. Walaupun pengulas menilai idea AI lebih menarik daripada idea manusia, cadangan AI sedikit kurang berdaya maju. Walau bagaimanapun, pakar memberi amaran bahawa kajian yang tidak dikaji rakan sebaya mempunyai keterbatasan, terutamanya kerana ia memfokuskan pada satu bidang penyelidikan dan memerlukan peserta untuk menghasilkan idea di bawah kekangan masa, yang mungkin tidak mewakili kerja terbaik mereka. Terdapat minat yang semakin meningkat tentang bagaimana model bahasa besar (LLM), seperti yang digunakan dalam ChatGPT, boleh membantu dalam tugas penyelidikan seperti penulisan dan tinjauan sastera. Menilai idea yang dihasilkan AI berbanding idea manusia adalah mencabar kerana sifat subjektif penilaian idea dan keperluan penilai pakar. Pengarang bersama kajian, Chenglei Si, menekankan bahawa perbandingan langsung adalah penting untuk memperjelaskan keupayaan AI. Projek itu melibatkan lebih 100 penyelidik yang pakar dalam pemprosesan bahasa semula jadi, dengan 49 peserta menghasilkan idea tentang topik tertentu dalam tempoh sepuluh hari, diperkasakan oleh ganjaran kewangan. Serentak itu, penyelidik menggunakan Claude 3. 5 LLM, yang menghasilkan kira-kira 4, 000 idea tentang topik yang sama, dan menilai idea yang paling asli. Dalam penilaian itu, 79 pengulas menilai idea berdasarkan keaslian, keterujaan, kebolehlaksanaan, dan keberkesanan.

Untuk menghapuskan bias, satu LLM menyeragamkan penyampaian kedua-dua idea yang dihasilkan AI dan manusia. Secara purata, idea AI mendapat markah lebih tinggi untuk keaslian dan keterujaan; walau bagaimanapun, analisis mendalam menunjukkan hanya kira-kira 200 daripada 4, 000 idea AI yang benar-benar unik. Ramai peserta manusia mengakui cadangan mereka hanya sederhana dibandingkan dengan kerja terdahulu. Kajian ini menunjukkan bahawa walaupun LLM mungkin menghasilkan idea yang agak asli berbanding dengan literatur sedia ada, sama ada mereka boleh melepasi pemikiran manusia yang luar biasa masih tidak pasti. Selain itu, perbandingan tersebut melibatkan penghantaran yang telah dikemaskini, yang mungkin telah mempengaruhi persepsi keaslian. Jevin West dari Universiti Washington menekankan kepentingan perbandingan yang adil, menunjukkan bahawa kebolehan penjanaan idea pantas AI boleh mempengaruhi keputusan terhadap keupayaan manusia. Melihat ke hadapan, Si dan pasukannya merancang untuk membandingkan idea yang dihasilkan AI dengan kertas kerja persidangan terkemuka untuk menilai keberkesanan LLM berbanding kreativiti manusia. Mereka bertujuan mendorong pertimbangan yang lebih mendalam mengenai peranan AI dalam proses penyelidikan pada masa depan.