Cloudflare kunngjorde planer om å introdusere en markedsplass innen det neste året, som lar nettsideeiere kreve betaling fra leverandører av AI-modeller for tilgang til å scrape innholdet deres. Dette initiativet er en del av CEO Matthew Prince's bredere strategi for å styrke utgivere i å kontrollere AI-bot-aktivitet på deres sider. I et nylig intervju med TechCrunch understreket Prince behovet for å kompensere innholdsskapere for å sikre fortsatt produksjon. Som et første skritt lanserte Cloudflare et gratis verktøy kalt AI Audit. Dette dashbordet gjør det mulig for nettsideeiere å overvåke AI-aktivitet på sine sider—som sporer når og hvor ofte modeller scraper informasjon. Brukere kan velge å blokkere alle AI-boter eller selektivt tillate visse scrapers basert på avtaler eller oppfattede fordeler. Det nye verktøyet gir innsikt i opprinnelsen til hver scraper, inkludert besøk fra store AI-leverandører som OpenAI og Amazon. Cloudflare søker å beskytte mindre utgivere hvis innhold for øyeblikket blir scrapet uten kompensasjon, noe som potensielt kan sette deres trafikk og inntekter i fare.

Mens større utgivere kan forhandle avtaler, forblir mange ubeskyttede mot omfattende scraping. Tidligere i sommer møtte en AI-oppstart tilbakeslag for å scrape nettsteder som uttrykte et ønske om å ikke bli gjennomgått. Som svar implementerte Cloudflare en ett-klikk-alternativ for kunder å blokkere alle AI-boter. Nettsideeiere har rapportert uenighet over det store volumet av AI-scraping, sammenlignet det med DDoS-angrep, som kan øke skylagringskostnader og forstyrre tjenester. Prince bemerket at kunder ønsker mer nyansert kontroll over hvilke AI-modeller kan få tilgang til innholdet deres. Selv store utgivere med lisensieringsordninger mangler ofte klarhet på omfanget av AI-scraping, og stoler på begrenset informasjon fra leverandører. Cloudflares kommende markedsplass er designet for å utvide lignende muligheter til mindre utgivere, slik at de kan sette vilkår for innholdstilgang. Selv om detaljene om markedsplassen ikke er fullt utviklet, ser Prince for seg et system der nettsteder kan kreve betaling basert på scrapingrater eller be om kreditter i bytte for tilgang. Mens AI-selskaper kan motsette seg å betale for for tiden gratis innhold, mener Prince at kompensasjon til skapere er avgjørende for et bærekraftig AI-økosystem.