Cloudflare, web sitesi sahiplerinin içeriklerini kazıma erişimi sağlamak için AI model sağlayıcılarından ücret talep etmelerine olanak tanıyan bir pazarı önümüzdeki yıl tanıtmayı planladığını duyurdu. Bu girişim, CEO Matthew Prince'in yayıncıları sitelerindeki AI bot etkinliğini kontrol altına almalarında güçlendirmeyi amaçlayan daha geniş stratejisinin bir parçasıdır. Yakın tarihli bir TechCrunch röportajında Prince, içerik üretiminin devamını sağlamak için içerik oluşturucularına tazminat ödenmesi gerektiğini vurguladı. İlk adım olarak, Cloudflare ücretsiz bir araç olan AI Denetimi'ni başlattı. Bu pano, web sitesi sahiplerine sitelerindeki AI davranışını izleme olanağı sağlar; modellerin bilgileri ne zaman ve ne sıklıkla kazıdığını takip eder. Kullanıcılar, tüm AI botlarını engellemeyi veya belirli kazıyıcıları anlaşmalara veya algılanan faydalara dayalı olarak seçici olarak izin vermeyi tercih edebilirler. Yeni araç, OpenAI ve Amazon gibi büyük AI sağlayıcılardan gelen ziyaretler de dahil olmak üzere her kazıyıcının kökeni hakkında bilgiler sağlar. Cloudflare, içeriklerinin şu anda tazminatsız kazındığı ve potansiyel olarak trafiklerini ve gelirlerini tehlikeye attığı küçük yayıncıları korumayı amaçlamaktadır.

Daha büyük yayıncılar anlaşmalar yapabilirken, birçokları yaygın kazıma karşı korunmasız kalmaktadır. Geçtiğimiz yaz başlarında bir AI girişimi, kazınmak istemediğini belirten siteleri kazıdığı için tepkiyle karşılaştı. Yanıt olarak, Cloudflare müşterilerin tüm AI botlarını tek tıklamayla engellemesi için bir seçenek sundu. Web sitesi sahipleri, AI kazımanın büyük hacmi karşısında sıkıntı yaşadığını bildirdi ve bunun DDoS saldırılarına benzetildiğini belirtti; bu, bulut maliyetlerini artırabilir ve hizmetleri kesintiye uğratabilir. Prince, müşterilerin içeriklerine erişebilecek AI modelleri üzerinde daha ayrıntılı kontroller istediğini belirtti. Lisans anlaşmaları olan büyük yayıncılar bile genellikle AI kazımanın kapsamını net bir şekilde göremez, sağlayıcılardan sınırlı bilgilere güvenirler. Cloudflare'ın yaklaşan pazarı, benzer fırsatları daha küçük yayıncılara genişletmek için tasarlandı ve onlara içerik erişim koşullarını belirleme olanağı tanır. Pazarın detayları tamamen geliştirilmemiş olsa da, Prince içerik kazıma oranlarına dayalı ücret talep etme veya erişim karşılığında krediler isteme sistemini öngörüyor. AI şirketleri şu anda ücretsiz olan içerik için ödeme yapmaya direnebilirken, Prince yaratıcıları tazmin etmenin sürdürülebilir bir AI ekosistemi için şart olduğuna inanıyor.