Ein von KI unterstützter Ideengenerator übertraf laut einem aktuellen Preprint auf arXiv 50 unabhängige Wissenschaftler bei der Generierung origineller Forschungskonzepte. Während die Prüfer die Ideen der KI als spannender bewerteten als die der Menschen, waren die Vorschläge der KI etwas weniger umsetzbar. Experten warnen jedoch, dass die nicht von Kollegen begutachtete Studie Einschränkungen aufweist, hauptsächlich weil sie sich auf ein Forschungsgebiet konzentrierte und die Teilnehmer unter Zeitdruck Ideen entwickeln mussten, was möglicherweise nicht ihre beste Arbeit repräsentiert. Es besteht ein wachsendes Interesse daran, wie große Sprachmodelle (LLMs), wie die hinter ChatGPT, bei Forschungsaufgaben wie Schreiben und Literaturrecherche helfen können. Die Bewertung von KI-generierten Ideen im Vergleich zu menschlichen Ideen ist herausfordernd aufgrund der subjektiven Natur der Ideenbewertung und der Notwendigkeit von Expertenbewertungen. Co-Autor der Studie, Chenglei Si, betont, dass ein direkter Vergleich notwendig ist, um die Fähigkeiten der KI im Kontext darzustellen. Das Projekt umfasste über 100 Forscher, die sich auf die Verarbeitung natürlicher Sprache spezialisierten, wobei 49 Teilnehmer in einem Zeitraum von zehn Tagen motiviert durch Geldprämien spezifische Themen bearbeiteten. Gleichzeitig nutzten die Forscher das Claude 3. 5 LLM, das etwa 4. 000 Ideen zu den gleichen Themen generierte und die originellsten bewertete. In der Bewertung evaluierten 79 Prüfer die Ideen anhand von Neuheit, Spannung, Machbarkeit und Effektivität.

Um Voreingenommenheit zu eliminieren, standardisierte ein LLM die Präsentation sowohl der KI- als auch der menschlich generierten Ideen. Im Durchschnitt erzielten die Ideen der KI höhere Werte für Originalität und Spannung; jedoch ergab eine tiefere Analyse, dass nur etwa 200 von 4. 000 KI-Ideen wirklich einzigartig waren. Viele menschliche Teilnehmer gaben zu, dass ihre Einreichungen nur durchschnittlich im Vergleich zu früheren Arbeiten waren. Die Studie schlägt vor, dass obwohl LLMs etwas originelle Ideen im Vergleich zur bestehenden Literatur generieren könnten, es unsicher bleibt, ob sie bahnbrechende menschliche Gedanken übertreffen können. Zusätzlich umfasste der Vergleich bearbeitete Einsendungen, die die Wahrnehmung der Neuheit beeinflusst haben könnten. Jevin West von der Universität von Washington betont die Bedeutung fairer Vergleiche und weist darauf hin, dass die schnelle Ideengenerierung durch KI die Ergebnisse zu Ungunsten menschlicher Fähigkeiten verzerren könnte. Für die Zukunft planen Si und sein Team, KI-generierte Ideen mit führenden Konferenzbeiträgen zu vergleichen, um die Effektivität von LLMs im Verhältnis zur menschlichen Kreativität besser zu bewerten. Sie möchten eine tiefere Betrachtung der Rolle der KI im Forschungsprozess anregen.