Cloudflare оголосила про плани запровадити ринок протягом наступного року, що дозволить власникам веб-сайтів стягувати плату з провайдерів моделей AI за доступ до скрапінгу їхнього контенту. Ця ініціатива є частиною більш широкої стратегії генерального директора Метью Прінса, спрямованої на надання видавцям можливості контролювати діяльність AI-ботів на їхніх сайтах. У недавньому інтерв'ю TechCrunch Прінс наголосив на необхідності компенсувати творцям контенту, щоб забезпечити подальше виробництво. Як перший крок, Cloudflare запустила безкоштовний інструмент під назвою AI Audit. Ця панель інструментів дозволяє власникам веб-сайтів відстежувати поведінку AI на їхніх сайтах—відстежуючи, коли і як часто моделі скрапінгують інформацію. Користувачі можуть заблокувати всі AI-боти або вибірково дозволити деяким скраперам доступ на основі угод або сприйнятих переваг. Новий інструмент надає інформацію про походження кожного скрапера, включаючи відвідування від основних провайдерів AI, таких як OpenAI і Amazon. Cloudflare прагне захистити менших видавців, чиї контент скрапінгується без компенсації, що потенційно може поставити під загрозу їхній трафік і доходи.

Хоча великі видавці можуть вести переговори про угоди, багато з них залишаються незахищеними перед масштабним скрапінгом. Раніше цього літа стартап AI зіткнувся з негативною реакцією за скрапінг сайтів, які висловили бажання не бути скрапінгованими. У відповідь, Cloudflare реалізувала однокрапкову опцію для клієнтів, яка дозволяє заблокувати всі AI-боти. Власники веб-сайтів повідомили про занепокоєння через величезний обсяг AI-скрапінгу, порівнюючи це з DDoS-атаками, які можуть збільшити витрати на хмарні послуги та перервати роботу сервісів. Прінс зазначив, що клієнти хочуть мати більше гнучкого контролю над тим, які моделі AI можуть отримувати доступ до їхнього контенту. Навіть великі видавці з ліцензійними угодами часто не мають чіткої інформації про ступінь AI-скрапінгу, покладаючись на обмежені дані від провайдерів. Майбутній ринок Cloudflare призначений для надання подібних можливостей меншим видавцям, дозволяючи їм встановлювати умови доступу до контенту. Хоча деталі про ринок ще не повністю розроблені, Прінс уявляє систему, де веб-сайти можуть стягувати плату за ставками скрапінгу або запрошувати кредити в обмін на доступ. Хоча AI-компанії можуть опиратися оплаті за контент, який є наразі безкоштовним, Прінс вірить, що компенсація творцям є необхідною для стійкої екосистеми AI.