Цахиураар ажилладаг санааны үүсгэгч нь arXiv-ийн сүүлийн үеийн урьдчилсан хэвлэлд дурдсанаар бие даасан 50 судлаачаас илүү анхны судалгааны ойлголтуудыг гаргана гэж үзсэн байна. Сэтгүүлчид AI-ийн санааг хүнийхээс илүү сонирхолтой гэж үнэлсэн ч AI-ийн санал болгох санаанууд бага зэрэг боломжгүй байсан. Гэхдээ шинжээчид хараахан бие даасан судалгааг өөрийн хүрээнд хязгаарлалаа гэж үзэн, ялангуяа нэг судалгааны чиглэлд төвлөрсөн тул оролцогчдыг хамгийн сайн үр бүтээлээ үзүүлсэн буюу өөрийн шилдэг бүтээлийг гаргах боломжгүй болохыг анхааруулж байна. Их хэмжээний хэлний загварууд (LLM), тухайлбал ChatGPT-ыг дэмждэг том хэмжээний хэлний загварууд судалгааны үйл ажиллагаанд хэрхэн тусалж болох талаар өргөн сонирхол байгаа. AI-ээр үүсгэгдсэн санааг хүмүүсийн санаатай харьцуулахад санаа үнэлгээ хийхэд хэцүү байдаг бөгөөд мэргэжилтнүүдийн үнэлгээ шаардлагатай байдаг. Судалгааны хамтлагийн зохиолч Chenglei Si шууд харьцуулах нь AI-гийн чадварыг тодорхойлохын тулд шаардлагатай гэж онцолсон байна. Төслийн хүрээнд байгалийн хэл боловсруулалт дээр мэргэшсэн 100 гаруй судлаачид оролцсон бөгөөд нийт 49 оролцогчид тодорхой сэдвүүдийн хүрээнд санаа гаргаж байсан. Адилхан, судлаачид Claude 3. 5 LLM-ийг ашиглан нэг сэдвийн хүрээнд ойролцоогоор 4, 000 санаа үүсгэх, хамгийн анхны санаануудыг ангилах байв. Үнэлгээнд, 79 шүүмжлэгчид санаануудыг шинэлэг байдал, сэтгэл догдлом байдал, боломжит байдал болон үр дүнтэй байдал дээр үнэлсэн байна.

Алдааг арилгахын тулд LLM санаануудыг хүн болон AI-аас үүсгэсэн санаануудыг жигд хэлбэрээр үзүүлсэн байна. Дундажаар, AI санаанууд илүү шинэлэг болон сэтгэл догдлом гэдэг нь үнэлэгдсэн боловч гүнзгий шинжилгээгээр AI-ийн 4, 000 санааны 200 орчим нь үнэхээр онцгой гэж тодорсон байв. Олон хүний оролцогчид гаргасан санаануудыг өмнөх бүтээлийг харьцуулахад дундаж гэж хүлээн зөвшөөрсөн байна. Судалгаа нь LLM-ууд одоо байгаа уран зохиолтой харьцуулбал түүнээс арай онцгой санаануудыг гаргаж болох ч хүндэтгээгдэх хүний оюун санааны санаанаас илүү гарах эсэх нь тодорхойгүй байгааг санал болгож байна. Мөн харьцуулах явцад хувь нэмэр оруулсан өгүүллэгүүдийн засвар нь шинэлэг байдлыг үнэлэхэд нөлөөлж болохыг онцолсон байна. Вашингтоны их сургуулиас Jevin West шударга харьцуулалт хийх шаардлагатайг онцолж, AI-ийн хурдан санааны үүсгэгчийн чадварууд хүний чадамжийг бууруулж болохгүйг сануулж байна. Ирээдүйд, Si болон түүний баг AI-ийн үүсгэсэн санаануудыг шилдэг бага хуралд бидэнд өрсөлдүүлэх зорилготойгоор илүү гүнзгий үнэлэхийн тулд харьцуулахыг зорьж байна. Тэд AI-гийн судалгааны процессыг илүү гүнзгий ойлгоход урам зориг өгүүлэхийг хүсэж байна.