كشف دراسة حديثة عن اختلافات واضحة في كيفية إدارة مواقع الأخبار ذات السمعة الطيبة ومواقع التضليل لوصول برامج الزحف الآلي (الروبوتات) عبر ملفات robots. txt، وهو بروتوكول ويب يتحكم في أذونات الزحف. من خلال تحليل مجموعة بيانات تشمل كلا النوعين من المواقع، وجد الباحثون أن 60٪ من المواقع الإخبارية ذات السمعة الطيبة تحظر على الأقل زاحف آلي واحد، بينما تفرض فقط 9. 1٪ من مواقع التضليل مثل هذه القيود. ومتوسطًا، تمنع المواقع ذات السمعة الطيبة حوالي 15. 5 من وكلاء المستخدمين الآليين، مما يشير إلى جهد واسع ومتعمد لتقييد جمع البيانات الآلي، في حين أن مواقع التضليل عادةً تقيد أقل من زاحف آلي واحد. كما فحصت الدراسة التدابير الفعالة للحجب المباشر—وهي دفاعات فعلية ضد الزاحفات الآلية—وأظهرت أن كلا النوعين من المواقع يستخدم هذه الممارسات، إلا أن المواقع الإخبارية ذات السمعة الطيبة تطبق سياسات robots. txt بشكل أكثر اتساقًا. تؤثر هذه الطرق المتباينة على توفر المحتوى الإلكتروني لتدريب نماذج الذكاء الاصطناعي. فنظرًا لاعتماد الذكاء الاصطناعي بشكل كبير على البيانات من الإنترنت، فإن القيود الأكثر صرامة من المصادر ذات السمعة قد تحد من الوصول إلى بيانات ذات جودة، بينما المخاطر من مواقع التضليل الأكثر انفتاحًا قد تؤدي إلى تحيز تدريب الذكاء الاصطناعي نحو محتوى غير موثوق به. تثير هذه الفجوة مخاوف أخلاقية وشفافية مهمة، حيث قد تتعلم نماذج الذكاء الاصطناعي بشكل غير متناسب من المعلومات المضللة، مما يؤثر على موثوقيتها وعدالتها. تبرز النتائج مسؤولية مقدمي المحتوى، لا سيما وسائل الإعلام المؤسسة، في إدارة وصول الزاحفين لحماية حقوق ملكيتهم الفكرية والسيطرة على توزيع المحتوى.

وبالمثل، يجب على مطوري الذكاء الاصطناعي مراعاة هذه القيود في الوصول لفهم أفضل للتحيزات والفجوات المحتملة في نماذجهم. مع تعمق دمج الذكاء الاصطناعي في المجتمع، تزداد الحاجة إلى الشفافية حول مصادر بيانات التدريب والأخلاقيات. تؤكد الدراسة على الانقسام المتزايد بين ممارسات مواقع الويب ذات السمعة ومواقع التضليل، مما يبرز أهمية الاستمرار في الأبحاث والحوار السياساتي حول إمكانية الوصول إلى المحتوى والمسؤولية في تطوير الذكاء الاصطناعي. ستظل الجهود التعاونية بين منشئي المحتوى، ومطوري الذكاء الاصطناعي، وصانعي السياسات، والجمهور ضرورية لوضع حلول متوازنة تحترم حقوق المحتوى مع تعزيز الذكاء الاصطناعي الدقيق والأخلاقي. تشمل التدابير المحتملة وضع معايير موحدة لملفات robots. txt لزاحفات الذكاء الاصطناعي، وتحسين الشفافية في بيانات تدريب الذكاء الاصطناعي، وزيادة وعي الجمهور حول التأثيرات على المحتوى الناتج عن الذكاء الاصطناعي. ختامًا، توفر الدراسة أدلة مهمة على تزايد عدم التوازن في تنظيم زاحفات الذكاء الاصطناعي: فوسائل الإعلام ذات السمعة الطيبة تقيّد الوصول بشكل فعال، بينما تظل مواقع التضليل في الغالب مرنة. يشكل هذا التوازن الديناميكي مجموعات بيانات تدريبية للذكاء الاصطناعي، وبالتالي يؤثر على جودة وحيادية مخرجاته. إن النهج المدروس والتعاوني ضروري لضمان أن يستفيد المجتمع من الذكاء الاصطناعي بشكل آمن وعادل.