क्लाउडफ्लेअरने पुढील वर्षात एका बाजारपेठेची योजना जाहीर केली, ज्यायोगे वेबसाइट मालकाना AI मॉडेल प्रदातांसाठी त्यांची सामग्री स्क्रॅप करण्यासाठी शुल्क आकारता येईल. हे उपक्रम CEO मॅथ्यू प्रिन्सच्या अधिक व्यापक धोरणाचा भाग आहे, ज्याने वेबसाइट्सवरील AI बॉट क्रियाकलापांचे नियंत्रण संपादकांना देण्याची कल्पना मांडली आहे. टेकक्रंचच्या अलीकडच्या मुलाखतीमध्ये, प्रिन्सने सामग्री निर्मात्यांचे कौतुक करण्याची आवश्यकता यावर भर दिला, जेणेकरून सातत्यपूर्ण उत्पादन सुनिश्चित होईल. पहिल्या चळवळीत, क्लाउडफ्लेअरने AI ऑडिट नावाचे एक विनामूल्य साधन लॉंच केले. या डॅशबोर्डमुळे वेबसाइट मालकाना AI वर्तनाचे निरीक्षण करण्यास मदत होते - मॉडेल्स माहिती कधी आणि किती वेळा स्क्रॅप करतात हे ट्रॅक करण्यास मदत होते. वापरकर्ते सर्व AI बॉट्स ब्लॉक करण्याची किंवा विशिष्ट स्क्रॅपर्सना परवानगी देण्याचा पर्याय निवडू शकतात. नवीन साधन प्रत्येक स्क्रॅपरच्या उत्पत्तीचे अंतर्दृष्टी प्रदान करते, ज्यामध्ये ओपनएआई आणि अमेझॉन सारख्या प्रमुख AI प्रदातांकडून झालेल्या भेटींचा अंदाज घेतला जातो. क्लाउडफ्लेअर लहान प्रकाशकांना संरक्षण देण्याचा प्रयत्न करतो, ज्यांची सामग्री सध्या अनावश्यक स्क्रॅप केली जाते, ज्यामुळे त्यांचा ट्रॅफिक आणि महसूल धोक्यात असते.

जेव्हा मोठ्या प्रकाशकांना करार करण्याची संधी मिळते, त्याचवेळी अनेक जण अनियंत्रित स्क्रॅपिंगविरुद्ध संरक्षित राहत नाहीत. या उन्हाळ्याच्या सुरुवातीला, एका AI स्टार्टअपवर स्क्रॅपिंग स्ट्रॉमिंग पूर्ण करण्यासाठी ग्राहकांना एक-क्लिक पर्याय दिला. वेबसाईट मालकांनी AI स्क्रॅपिंगच्या मोठ्या प्रमाणाबद्दल त्रासाची बातमी दिली, ज्यामुळे डी-डॉस हल्ले प्रमाणे होतात, ज्यामुळे क्लाउड खर्च वाढतो आणि सेवा तुटतात. प्रिन्सने नमूद केले की ग्राहक विशिष्ट AI मॉडेल्सच्या प्रवेशावर अधिक संपूर्ण नियंत्रण पाहिजे असा विचार करतात. अगदी मोठ्या प्रकाशकांनाही लाइसेन्सिंग व्यवस्थेसाठी स्पष्टता नसते, AI स्क्रॅपिंगच्या प्रमाणाच्या अवलोकनाकडे थोडी माहिती मिळते. क्लाउडफ्लेअरची आगामी बाजारपेठ लहान प्रकाशकांना असणाऱ्या विशेषाधिकारांचा विस्तार करेल, त्यांना सामग्रीच्या प्रवेशासाठी अटी सेट करण्याची परवानगी देईल. तरी बाजारपेठेबद्दल तपशील पूर्णपणे विकसित झालेले नाहीत, प्रिन्सला अशी एक प्रणाली दृष्टीत दिसते ज्यात वेबसाइट्स स्क्रॅपिंग दरांवर आधारित शुल्क आकारू शकतात किंवा प्रवेशाच्या बदल्यात क्रेडिट्स मागू शकतात. जेव्हा AI कंपन्यांना सध्या विनामूल्य सामग्रीसाठी पैसे देणे योग्य नसते असे वाटू शकते, प्रिन्स असा विश्वास ठेवतो की निर्मात्यांचे कौतुक करण्यासाठी योग्य निवड आवश्यक आहे.