Cloudflare je najavio planove za uvođenje marketplace-a u narednoj godini, omogućavajući vlasnicima sajtova da naplaćuju provajderima AI modela za pristup njihovom sadržaju radi scraping-a. Ova inicijativa je deo šire strategije CEO-a Matthewa Princea da omogući izdavačima kontrolu nad aktivnostima AI botova na njihovim sajtovima. U nedavnom intervjuu za TechCrunch, Prince je naglasio potrebu za kompenzacijom kreatora sadržaja kako bi se osigurala kontinuirana proizvodnja. Kao prvi korak, Cloudflare je pokrenuo besplatan alat pod nazivom AI Audit. Ova kontrolna tabla omogućava vlasnicima sajtova praćenje ponašanja AI botova na njihovim sajtovima—praćenje kada i koliko često modeli scrape-uju informacije. Korisnici mogu izabrati da blokiraju sve AI botove ili selektivno dozvole određenim scrap-ovima prema dogovorima ili percipiranim koristima. Novi alat pruža uvide u poreklo svakog scraper-a, uključujući posete od glavnih AI provajdera kao što su OpenAI i Amazon. Cloudflare nastoji da zaštiti manje izdavače čiji se sadržaj trenutno scrape-uje bez kompenzacije, potencijalno ugrožavajući njihov promet i prihode.

Dok veći izdavači mogu da pregovaraju o dogovorima, mnogi ostaju nezaštićeni od nekontrolisanog scraping-a. Ranije ovog leta, jedan AI startup suočio se sa reakcijama zbog scraping-a sajtova koji su izrazili želju da ne budu crawlovani. Kao odgovor, Cloudflare je implementirao opciju na jedan klik za korisnike da blokiraju sve AI botove. Vlasnici sajtova su izveštavali o uznemirenosti zbog same količine AI scraping-a, poredeći to sa DDoS napadima, što može povećati troškove u oblaku i poremetiti usluge. Prince je napomenuo da kupci žele suptilniju kontrolu nad time koji AI modeli mogu pristupiti njihovom sadržaju. Čak i veći izdavači sa licencnim dogovorima često nemaju jasnoću o obimu AI scraping-a, oslanjajući se na ograničene informacije od provajdera. Predstojeći marketplace Cloudflare-a je dizajniran da pruži slične mogućnosti manjim izdavačima, omogućavajući im da postave uslove za pristup sadržaju. Iako detalji o marketplace-u još nisu u potpunosti razrađeni, Prince zamišlja sistem u kojem sajtovi mogu naplaćivati na osnovu stope scraping-a ili zahtevati kredite u zamenu za pristup. Iako AI kompanije možda neće biti voljne da plaćaju za trenutno besplatan sadržaj, Prince veruje da je kompenzacija kreatora ključna za održiv AI ekosistem.