Последното изследване разкрива драстични разлики в начина, по който авторитетните новинарски сайтове и сайтове за дезинформация управляват достъпа на AI скрейпери чрез файловете robots. txt – уеб протокол, контролиращ разрешенията за обхождане. Анализирайки набор от данни за двата вида сайтове, изследователите установиха, че 60% от авторитетните новинарски платформи блокират поне един AI скрейпър, докато само 9, 1% от сайтовете за дезинформация налагат такива ограничения. Средно, авторитетните сайтове пренасочват около 15, 5 AI потребителски агенти, което показва широка, целенасочена стратегия за ограничаване на автоматизираното извличане на данни, докато сайтовете за дезинформация обикновено ограничават по-малко от един AI скрейпър. Проучването също разгледа активните мерки за блокиране – реалновремеви защити срещу AI скрейпери – и установи, че въпреки че и двата типа сайтове използват такива практики, авторитетните новинарски платформи по- последователно спазват своите политики чрез robots. txt. Тези противоположни подходи влияят на достъпността на онлайн съдържанието за обучение на AI модели. Тъй като AI силно зависи от уеб данни, по-строгите ограничения от страна на авторитетните източници може да ограничат достъпа до качествени данни, докато по-отворените сайтове за дезинформация крият риск моделите за AI да бъдат обучавани върху ненадеждна информация. Тази разлика поставя важни етични и прозрачностни въпроси, тъй като моделите за AI може да учат прекалено много от подвеждаща информация, което засяга тяхната надеждност и справедливост. Изследването акцентира върху отговорността на доставчиците на съдържание, особено на утвърдените медии, да управляват достъпа на скрейпърите, за да защитят интелектуалната си собственост и контрола върху разпространението.

По същия начин, разработчиците на AI трябва да вземат предвид тези ограничения при достъпа, за да разберат по-добре потенциалните предразсъдъци и пропуски в своите модели. С разширяването на интеграцията на AI в обществото, прозрачността относно източниците на тренировъчните данни и етиката стават все по-спешни. Проучването подчертава настъпващата пропаст между практиките на авторитетните сайтове и сайтовете за дезинформация, като подчертава необходимостта от продължими изследвания и диалог по въпросите за достъпа до съдържание и отговорното развитие на AI. Колективните усилия между създателите на съдържание, изследователите на AI, policymakers и обществеността ще бъдат от съществено значение за разработването на балансирани решения, които уважават правата върху съдържанието и едновременно с това насърчават точен и етичен AI. Сред възможните мерки са стандартизирани насоки за robots. txt за AI скрейпери, повишена прозрачност при тренировъчните данни за AI и повишаване на общественото съзнание за влиянието върху съдържанието, генерирано от AI. В обобщение, изследването предоставя важни доказателства за растяща асиметрия в регулирането на AI скрейпърите: авторитетните медии активно ограничават достъпа, докато сайтoве за дезинформация остават предимно разрешаващи. Тази динамика оформя наборите данни за обучение на AI и съответно качеството и склонностите на резултатите, които AI предоставя. Осмислени и съвместни подходи са необходими за гарантиране, че AI ще служи на обществото по безопасен и справедлив начин.