Недавнее исследование выявило ярко выраженные различия в способах управления доступом к сайтам новостей с хорошей репутацией и сайтам дезинформации через файлы robots. txt — веб-протокол, регулирующий разрешения для роботов-краулеров. Анализируя набор данных обеих категорий сайтов, исследователи обнаружили, что 60 % авторитетных новостных ресурсов блокируют хотя бы одного AI-краулера, в то время как только 9, 1 % сайтов дезинформации вводят такие ограничения. В среднем, авторитетные сайты запрещают около 15, 5 пользовательских агентов AI, что свидетельствует о широком, умышленном усилии по ограничению автоматизированного сбора данных, тогда как сайты дезинформации обычно ограничивают менее одного AI-краулера. В исследовании также рассматривались активные меры блокировки — системы защиты в реальном времени от AI-краулеров. Было установлено, что хотя оба типа сайтов используют такие практики, авторитетные новостные ресурсы более последовательно соблюдают свои политики в файлах robots. txt. Эти противоположные подходы влияют на доступность онлайн-контента для обучения моделей ИИ. Поскольку ИИ в значительной степени зависит от веб-данных, более строгие ограничения со стороны авторитетных источников могут ограничить доступ к качественным данным, в то время как более открытые сайты дезинформации рискуют искаженными моделями и возможностью обучения на ненадежной информации. Эта разница вызывает важные этические и вопросы прозрачности, поскольку модели ИИ могут преимущественно обучаться на вводящей в заблуждение информации, что сказывается на их надежности и справедливости. Полученные данные подчеркивают ответственность поставщиков контента, особенно заслуживающих доверия медиа, в управлении доступом к краулерам для защиты интеллектуальной собственности и контроля распространения информации.

Аналогично разработчикам ИИ необходимо учитывать эти ограничения доступа для лучшего понимания возможных предубеждений и пробелов в их моделях. По мере углубления интеграции ИИ в общество возрастает необходимость прозрачности при выборе обучающих данных и в этических вопросах. Исследование подчеркивает возникающий разрыв между практиками авторитетных сайтов и сайтов дезинформации, поднимая необходимость дальнейших исследований и разработки политики в области обеспечения доступности контента и ответственного развития ИИ. Коллаборация между создателями контента, исследователями ИИ, политиками и общественностью будет ключевой для поиска сбалансированных решений, учитывающих права контента и одновременно способствующих точной и этичной работе ИИ. Возможные меры включают стандартизацию руководящих принципов по файлам robots. txt для краулеров AI, повышение прозрачности в данных для обучения ИИ и повышение осведомленности населения о факторах, влияющих на содержание, создаваемое ИИ. В целом, исследование дает важные свидетельства растущей асимметрии в регулировании доступа к AI-краулерам: авторитетные СМИ активно вводят ограничения, в то время как сайты дезинформации остаются в основном permissive. Эта динамика формирует наборы данных для обучения ИИ и, следовательно, влияет на качество и предпочтения в выводах ИИ. Важна продуманная, совместная работа для обеспечения того, чтобы ИИ приносил обществу пользу безопасно и справедливо.