Nýleg rannsókn sýnir skarpa mun á því hvernig traustir fréttasíður og villandi upplýsingasíður stjórna aðgangi AI leitarvélarkerfa með robots. txt skrám, sem eru vefskrif sem stýra aðgangi leitarvélarmanna. Með því að greina gagnasafn af báðum gerðum síða komust rannsóknarmenn að þeirri niðurstöðu að að minnsta kosti 60% trausta fréttaveita loka fyrir að minnsta kosti eitt AI leitarvél, meðan aðeins 9, 1% villandi upplýsingasíða setja slíkar takmarkanir. Meðalfjöldi AI notendagagna sem traustar síður neita er um 15, 5, sem sýnir víðtæka og meðvitaða tilraun til að takmarka sjálfvirkan gæðaskrapa, á meðan villandi síður takmarka venjulega færri en eina AI leitarvél. Rannsóknin skoðaði einnig raunverulegar verja gegn AI leitarvélum, sem er beinar varnir í rauntíma, og kom í ljós að þó báðar tegundir síða taki þátt í slíkum aðgerðum, þá er traustur fréttamiðlari mun samræmdari við að framfylgja sínum robots. txt stefnu. Þessi andstæða viðhorf hafa áhrif á aðgengi að vefefni til þjálfunar AI kerfa. Þar sem AI treystir mikið á vefgögn kunna strangari takmarkanir trausta flytjenda að takmarka aðgang að gæðagögnum, en opnari villandi síður geta skekkt þjálfun AI með efni sem er óáreiðanlegt. Þessi mismunur vekur mikilvægar siðferðislegar og gegnsæðislegar áhyggjur, þar sem AI módel gætu lært ójafnt af villandi upplýsingum, sem getur haft áhrif á áreiðanleika og sanngirni þeirra. Rannsóknin undirstrikar ábyrgð upplýsingaveitenda, sérstaklega viðurkenndra fjölmiðla, til að stjórna aðgangi leitarvélakerfa til að vernda eignarétt og ráða dreifingu efnis.

Á sama tíma þurfa AI þróunaraðilar að taka tillit til þessara takmarkana til að greina hugsanlega skekkju og skort í modulum sínum. Með aukinni samþættingu AI í samfélaginu vex þörfin fyrir gegnsæi um hvaðan gögn þjálfunin er unnin og siðferðisleg málefni. Rannsóknin mótar sýn á aðgreiningu milli vinnubrags trausta miðla og villandi upplýsingasíða, og undirstrikar mikilvægi áframhaldandi rannsóknar og stefnumótunar um aðgang að efni og ábyrgða þróun AI. Samvinnuverkefni milli efnisframleiðenda, AI rannsóknarmanna, stjórnvalda og almennings verður lykilatriði til að skapa jafnvægisskilgreiningar þar sem réttindi efnis eru virt og nákvæm, siðmenntuð AI er stuðluð. Meðal mögulegra aðgerða eru staðlaðar leiðbeiningar um robots. txt fyrir AI, aukin gegnsæi í þjálfunargögnum AI og vitundarvakning almennings um áhrif á AI efni. Að lokum gefur rannsóknin mikilvægar vísbendingar um vaxandi óréttlæti í stýringu AI leitarvélakerfa: traustir miðlar halda sig við strangari reglur, meðan villandi síður verða næstum því flest afslappaðar. Þessi þróun mótar safn þjálfunargagna AI og hefur beinan áhrif á gæði og skekkjur í niðurstöðum AI. Með ígrunduðum, samstarfsbundnum nálgunum er hægt að tryggja að AI nýtist samfélaginu á öruggan og sanngjarnan hátt.