Cloudflare a annoncé son intention de lancer un marché l'année prochaine, permettant aux propriétaires de sites web de facturer les fournisseurs de modèles IA pour l'accès à leur contenu. Cette initiative fait partie de la stratégie plus large du PDG Matthew Prince visant à donner aux éditeurs le contrôle de l'activité des bots IA sur leurs sites. Dans une récente interview avec TechCrunch, Prince a souligné la nécessité de rémunérer les créateurs de contenu pour assurer une production continue. En tant que première mesure, Cloudflare a lancé un outil gratuit appelé AI Audit. Ce tableau de bord permet aux propriétaires de sites web de surveiller le comportement des IA sur leurs sites, en suivant quand et à quelle fréquence les modèles extraient des informations. Les utilisateurs peuvent choisir de bloquer tous les bots IA ou d'autoriser sélectivement certains scrapeurs en fonction des accords ou des avantages perçus. Le nouvel outil fournit des informations sur l'origine de chaque scrapeur, y compris les visites de grands fournisseurs d'IA comme OpenAI et Amazon. Cloudflare cherche à protéger les petits éditeurs dont le contenu est actuellement extrait sans compensation, mettant potentiellement en péril leur trafic et leurs revenus.

Alors que les grands éditeurs peuvent négocier des accords, beaucoup restent non protégés contre le scraping rampant. Plus tôt cet été, une startup IA a fait face à des réactions négatives pour avoir extrait des sites qui avaient exprimé le souhait de ne pas être crawlé. En réponse, Cloudflare a mis en œuvre une option en un clic permettant aux clients de bloquer tous les bots IA. Les propriétaires de sites web ont signalé leur détresse face au volume important de scraping IA, le comparant à des attaques DDoS, ce qui peut augmenter les coûts de cloud et perturber les services. Prince a noté que les clients veulent un contrôle plus nuancé sur les modèles d'IA qui peuvent accéder à leur contenu. Même les grands éditeurs ayant des accords de licence manquent souvent de clarté sur l'étendue du scraping IA, se fiant à des informations limitées fournies par les opérateurs. Le futur marché de Cloudflare est conçu pour offrir des opportunités similaires aux petits éditeurs, leur permettant de définir les conditions d'accès au contenu. Bien que les détails sur le marché ne soient pas encore entièrement développés, Prince envisage un système où les sites web peuvent facturer en fonction des taux de scraping ou demander des crédits en échange de l'accès. Bien que les entreprises d'IA puissent résister à payer pour du contenu actuellement gratuit, Prince croit que rémunérer les créateurs est essentiel pour un écosystème IA durable.