Investigadores de AWS de Amazon proponen un proceso de evaluación para probar el rendimiento de la generación asistida por recuperación (RAG, por sus siglas en inglés) al responder preguntas sobre contenido específico de dominio. Su enfoque consiste en generar exámenes de opción múltiple basados en material de cuatro dominios diferentes, y evaluar qué tan bien diferentes modelos de lenguaje responden a las preguntas.

Los investigadores descubren que la elección del método de recuperación puede tener un impacto mayor en el rendimiento que el tamaño del propio modelo de lenguaje. Además, resaltan la importancia de contar con un componente de recuperación bien alineado, ya que un componente que funcione mal puede degradar la precisión general del modelo de lenguaje.