Останнє дослідження виявило суттєві розбіжності у тому, як авторитетні новинні сайти та сайти дезінформації контролюють доступ до своїх даних для AI-краулерів через файли robots. txt — веб-протокол, що регулює дозволи для краулерів. Аналізуючи набір даних обох типів сайтів, дослідники встановили, що 60% авторитетних новинних ресурсів блокують щонайменше одного AI-краулера, тоді як лише 9, 1% сайтів дезінформації вводять такі обмеження. У середньому, авторитетні сайти забороняють приблизно 15, 5 агентів користувачів AI, що свідчить про широке та цілеспрямоване зусилля обмежити автоматизоване скрапінгування, тоді як сайти дезінформації зазвичай обмежують менше ніж одного AI-краулера. Дослідження також розглянуло активні заходи блокування — захист у реальному часі від AI-краулерів. Виявилося, що хоча обидва типи сайтів застосовують такі практики, авторитетні новинні ресурси послідовніше дотримуються політики robots. txt. Ці різні підходи впливають на доступність онлайн-контенту для тренування моделей штучного інтелекту. Оскільки AI значною мірою залежить від веб-даних, жорсткіші обмеження з боку авторитетних джерел можуть обмежити доступ до якісних даних, тоді як більш відкриті сайти дезінформації створюють ризик викривлення тренувань AI на недостовірній інформації. Ця різниця піднімає важливі етичні та питання прозорості, оскільки моделі AI можуть переважно навчатися з вводящей в оману інформації, що впливає на їхню надійність і справедливість. Результати підкреслюють відповідальність провайдерів контенту, особливо утворених ЗМІ, у контролі доступу краулерів для захисту інтелектуальної власності та контролю поширення інформації.

Так само розвиток AI неминуче повинен враховувати ці обмеження доступу для глибшого розуміння потенційних упереджень і прогалин у моделях. З ускладненням інтеграції AI у суспільство питання прозорості щодо джерел тренувальних даних і етики стають більш нагальними. Це дослідження підкреслює зростаючу різницю у практиках авторитетних та сайтів дезінформації, наголошуючи на необхідності подальших досліджень і політичних дискусій щодо доступності контенту та відповідального розвитку AI. Спільні зусилля контент-мейкерів, дослідників у сфері AI, політиків і громадськості будуть важливими для розробки збалансованих рішень, що поважатимуть права на контент і водночас сприятимуть точному та етичному використанню AI. Потенційні заходи включають стандартизовані рекомендації щодо robots. txt для AI-краулерів, підвищену прозорість у даних для тренувань та підвищення обізнаності громадськості про чинники, що впливають на контент, створений штучним інтелектом. Підсумовуючи, дослідження демонструє важливі свідчення зростаючого дисбалансу у регулюванні доступу AI-краулерів: авторитетні медіа активно обмежують доступ, тоді як сайти дезінформації залишаються переважно відкритими. Ця динаміка формує набори даних для тренування AI та визначає якість і упередження у результатах ШІ. Виважені та спільні підходи є необхідністю для забезпечення безпечного і справедливого впливу AI на суспільство.