Pesquisadores da AWS da Amazon propõem um processo de benchmarking para testar o desempenho da geração com recuperação auxiliada (RAG, na sigla em inglês) na resposta a perguntas sobre conteúdo específico de domínio. Sua abordagem envolve a geração de exames de múltipla escolha com base em material de quatro domínios e a avaliação do desempenho de diferentes modelos de linguagem na resposta às perguntas.

Os pesquisadores descobrem que a escolha do método de recuperação pode ter um impacto maior no desempenho do que o tamanho do próprio modelo de linguagem. Além disso, eles destacam a importância de um componente de recuperação bem alinhado, pois um componente com mau funcionamento pode degradar a precisão geral do modelo de linguagem.