Die Forscher von Amazon AWS schlagen einen Benchmarking-Prozess vor, um die Leistung von Retrieval-Augmented Generation (RAG) bei der Beantwortung von Fragen zu domain-spezifischem Inhalt zu testen. Ihr Ansatz besteht darin, Multiple-Choice-Prüfungen auf der Grundlage von Material aus vier Domänen zu generieren und zu bewerten, wie gut verschiedene Sprachmodelle die Fragen beantworten.

Die Forscher stellen fest, dass die Wahl der Retrieval-Methode einen größeren Einfluss auf die Leistung hat als die Größe des Sprachmodells selbst. Darüber hinaus betonen sie die Bedeutung einer gut ausgerichteten Retrieval-Komponente, da eine schlecht funktionierende Komponente die Gesamtgenauigkeit des Sprachmodells beeinträchtigen kann.