Cloudflare va anunciar plans per introduir un mercat durant l'any vinent, permetent als propietaris de llocs web cobrar als proveïdors de models d'IA per l'accés per raspar el seu contingut. Aquesta iniciativa és part de l'estratègia més àmplia del CEO Matthew Prince per donar poder als editors en el control de l'activitat dels bots d'IA als seus llocs. En una recent entrevista amb TechCrunch, Prince va destacar la necessitat de compensar els creadors de contingut per garantir la producció contínua. Com a primer pas, Cloudflare va llançar una eina gratuïta anomenada AI Audit. Aquest tauler permet als propietaris de llocs web monitoritzar el comportament de la IA als seus llocs, rastrejant quan i amb quina freqüència els models raspen informació. Els usuaris poden optar per bloquejar tots els bots d'IA o permetre selectivament certs raspadors basats en acords o beneficis percebuts. La nova eina proporciona informació sobre els orígens de cada raspador, incloent-hi visites de grans proveïdors d'IA com OpenAI i Amazon. Cloudflare busca protegir els petits editors, el contingut dels quals actualment es raspa sense compensació, comprometent potencialment el seu trànsit i ingressos.

Mentre que els grans editors poden negociar acords, molts romanen sense protecció contra el raspador descontrolat. A principis d'aquest estiu, una startup d'IA va enfrontar una reacció negativa per raspar llocs que expressaven el desig de no ser rastrejats. Com a resposta, Cloudflare va implementar una opció d'un sol clic per als clients per bloquejar tots els bots d'IA. Els propietaris de llocs web han informat de l'angoixa causada pel volum massiu de rascats d'IA, comparant-ho amb atacs DDoS, que poden augmentar els costos del núvol i interrompre els serveis. Prince va notar que els clients volen més control subtil sobre quins models d'IA poden accedir al seu contingut. Fins i tot els grans editors amb acords de llicència sovint manquen de claredat sobre l'extensió del raspador d'IA, depenent de la informació limitada dels proveïdors. El mercat proper de Cloudflare està dissenyat per estendre oportunitats similars als petits editors, permetent-los establir termes per a l'accés al contingut. Tot i que els detalls sobre el mercat no estan del tot desenvolupats, Prince imagina un sistema on els llocs web poden cobrar segons les tarifes de raspador o demanar crèdits a canvi d'accés. Tot i que les empreses d'IA poden resistir pagar pel contingut actualment gratuït, Prince creu que compensar els creadors és essencial per a un ecosistema d'IA sostenible.