Nedavna studija otkriva snažne razlike u načinu na koji ugledne vijesti i stranice sa dezinformacijama upravljaju pristupom AI indeksera putem robots. txt datoteka, web protokola koji kontroliše dozvole za indeksiranje. Analizirajući skup podataka oba tipa stranica, istraživači su otkrili da 60% uglednih vijesti blokira barem jednog AI indeksirača, dok samo 9, 1% stranica sa dezinformacijama uvodi takva ograničenja. U prosjeku, ugledne stranice dozvoljavaju pristup otprilike 15, 5 AI korisničkih agenata, što ukazuje na širok i namjerni napor da se ograniči automatsko prikupljanje podataka, dok stranice sa dezinformacijama obično ograničavaju manje od jednog AI indeksirača. Studija je takođe ispitala aktivne mjere blokiranja—realne odbrane protiv AI indeksirača—i otkrila da, iako obje vrste stranica koriste takve prakse, ugledne vijesti dosljednije primjenjuju svoje politike iz robots. txt datoteka. Ovi sučeljeni pristupi utiču na dostupnost online sadržaja za obuku AI modela. Budući da AI u velikoj mjeri zavisi od web podataka, stroža ograničenja od strane uglednih izvora mogu ograničiti pristup kvalitetnim podacima, dok otvorenije stranice sa dezinformacijama nose rizik od usmjeravanja obuke AI ka nepouzdanim sadržajima. Ova razlika izaziva važna etička i transparentnosna pitanja, jer bi AI modeli mogli prekomjerno učiti iz obmanjujućih informacija, što utiče na njihovu pouzdanost i pravičnost. Nalazi ističu odgovornost pružalaca sadržaja, posebno etabliranih medija, da upravljaju pristupom indeksirača kako bi zaštitili svoju intelektualnu svojinu i kontrolisali distribuciju sadržaja.

Također, tvorci AI trebaju uzeti u obzir ove limitacije pristupa radi bolje razumijevanja potencijalnih pristranosti i praznina u njihovim modelima. Kako se integracija AI sve više uvodi u društvo, transparentnost u vezi s izvorima podataka za obuku i etika dobijaju na važnosti. Studija ističe rastući jaz između praksi uglednih stranica i stranica s dezinformacijama, naglašavajući potrebu za nastavkom istraživanja i dijalogom o pristupačnosti sadržaja i odgovornom razvoju AI. Složeni napori između kreatora sadržaja, istraživača AI, kreatora politika i javnosti biće ključni za osmišljavanje uravnoteženih rješenja koja štite prava sadržaja, a istovremeno promovišu tačnu i etičku AI. Potencijalne mjere uključuju standardizirane smjernice za robots. txt za AI indeksirače, poboljšanu transparentnost u podacima za obuku AI i podizanje svijesti javnosti o uticajima na sadržaj generisan od AI. Ukratko, studija pruža značajne dokaze o rastućoj nejednakosti u regulaciji pristupa AI indeksiračima: ugledni mediji aktivno ograničavaju pristup, dok stranice sa dezinformacijama uglavnom tolerišu pristup. Ovaj dinamika oblikuje setove podataka za obuku AI i, posljedično, kvalitet i pristranosti AI izlaza. Promišljeni i kooperativni pristupi su neophodni da bi se osiguralo da AI koristi društvu na siguran i pravičan način.