Un estudio reciente realizado por el Tow Center for Digital Journalism de la Columbia Journalism Review revela problemas significativos de precisión con los modelos de IA generativa utilizados para búsquedas de noticias. Al probar ocho herramientas de búsqueda impulsadas por IA, los investigadores encontraron que más del 60% de las consultas generaron información incorrecta sobre fuentes de noticias. Aproximadamente el 25% de los estadounidenses utilizan actualmente estos modelos de IA en lugar de motores de búsqueda tradicionales, lo que plantea preocupaciones sobre su fiabilidad. Las tasas de error variaron entre las diferentes herramientas. Por ejemplo, Perplexity cometió errores en el 37% de las consultas, mientras que ChatGPT Search tuvo una tasa de error del 67% (134 de 200 consultas). Grok 3 tuvo la tasa más alta, con un 94%. Para llevar a cabo las pruebas, los investigadores proporcionaron extractos directos de artículos de noticias reales y pidieron a las herramientas de IA que identificaran detalles correspondientes, como titulares, editores, fechas y URLs, totalizando 1, 600 consultas. Se observó una tendencia preocupante: en lugar de negarse a responder cuando no estaban seguros, los modelos a menudo ofrecían respuestas plausibles pero incorrectas, un patrón consistente en todas las herramientas probadas. Las versiones premium de estas herramientas de IA, como Perplexity Pro (20 dólares/mes) y el servicio premium de Grok 3 (40 dólares/mes), a veces funcionaron peor, ya que frecuentemente proporcionaban respuestas incorrectas a pesar de abordar correctamente un mayor número de solicitudes. Su tendencia a ofrecer respuestas inciertas contribuyó a tasas de error generales más altas. El estudio también planteó problemas respecto al control de los editores sobre su contenido.

Algunas herramientas de IA ignoraron los Protocolos de Exclusión de Robots destinados a prevenir el acceso no autorizado a cierto contenido. Por ejemplo, la versión gratuita de Perplexity identificó extractos de artículos de National Geographic bajo pago, a pesar de que el acceso estaba explícitamente prohibido. Además, cuando las herramientas de IA citaban fuentes, a menudo se vinculaban a contenido sindicado en sitios como Yahoo News en lugar de a editores originales. Surgió un problema significativo con la fabricación de URLs: más de la mitad de las citas de Gemini de Google y Grok 3 conducían a páginas rotas o inexistentes, con Grok 3 siendo responsable de que 154 de 200 citas resultaran en páginas de error. Esta situación coloca a los editores en una posición difícil: bloquear los rastreadores de IA podría eliminar la atribución, mientras que permitir el acceso facilita la reutilización de contenido sin beneficiar a los sitios originales. Mark Howard, COO de la revista Time, expresó preocupaciones sobre la transparencia y el control, pero también sugirió un potencial de mejora, afirmando que las herramientas de IA actuales evolucionarán de manera positiva. Howard criticó de manera contundente a los usuarios que esperan precisión total de los servicios de IA gratuitos, sugiriendo que el escepticismo es necesario. OpenAI y Microsoft reconocieron los hallazgos del estudio, pero no respondieron directamente a los problemas planteados. OpenAI enfatizó su compromiso de apoyar a los editores, mientras que Microsoft afirmó que cumplía con los Protocolos de Exclusión de Robots. Este informe se basa en hallazgos anteriores de noviembre de 2024, que también destacaron problemas de precisión con el manejo de contenido de noticias por parte de ChatGPT. Para más detalles, el informe completo está disponible en el sitio web de la Columbia Journalism Review.