Cloudflare објави планови за воведување пазар во следната година, што ќе им овозможи на сопствениците на веб-страници да наплатуваат на провајдерите на AI модели за пристап до скрепање на нивната содржина. Оваа иницијатива е дел од пошироката стратегија на извршниот директор Метју Принс за овластување на издавачите во контролирањето на активностите на AI ботовите на нивните страници. Во неодамнешно интервју за TechCrunch, Принс го истакна потребата за компензација на креаторите на содржини за да се обезбеди континуирано производство. Како прв чекор, Cloudflare го започна бесплатниот алат наречен AI Audit. Овој панел на контрола му овозможува на сопствениците на веб-страници да го следат однесувањето на AI на нивните страници - следејќи кога и колку често моделите скрепаат информации. Корисниците можат да изберат да блокираат сите AI ботови или селективно да дозволат одредени скрепери врз основа на договори или перципирани придобивки. Новиот алат обезбедува увид во потеклото на секој скрепер, вклучувајќи посети од големи провајдери на AI како OpenAI и Amazon. Cloudflare бара да ги заштити помалите издавачи чии содржини моментално се скрепаат без компензација, потенцијално ризикувајќи го нивниот сообраќај и приходи.

Додека поголемите издавачи можат да преговараат договори, многумина остануваат незаштитени против неконтролирано скрепање. Порано ова лето, еден AI стартап се соочи со реакција за скрепање на страници кои изразиле желба да не бидат скенирани. Како одговор, Cloudflare имплементираше еднократно решение за клиентите да ги блокираат сите AI ботови. Сопствениците на веб-страници пријавиле загриженост за големиот обем на AI скрепање, споредувајќи го со DDoS напади, кои можат да ги зголемат трошоците на облаките и да ги нарушат услугите. Принс забележа дека клиентите сакаат повеќе контрола врз кои AI модели имаат пристап до нивната содржина. Дури и големите издавачи со договори за лиценцирање често немаат јасност за обемот на AI скрепање, осоновајќи се на ограничена информација од провајдерите. Претстојниот пазар на Cloudflare е дизајниран да овозможи слични можности на помалите издавачи, овозможувајќи им да поставуваат термини за пристап до содржината. Иако деталите за пазарот се уште не се целосно развиени, Принс замислува систем каде веб-страниците можат да наплатуваат врз основа на стапките на скрепање или да бараат кредити во замена за пристап. Иако AI компаниите може да одбијат да плаќаат за содржина која е моментално бесплатна, Принс верува дека компензацијата на креаторите е есенцијална за одржлив екосистем на AI.