Ibinunyag ng isang kamakailang pag-aaral ang malalaking pagkakaiba sa paraan ng mga kilalang website ng balita at mga site ng maling impormasyon sa pamamahala ng access ng AI crawler gamit ang robots. txt file, isang web protocol na nagreregula ng mga pahintulot para sa mga crawler. Sa pagsusuri ng isang dataset ng parehong uri ng mga site, natuklasan ng mga mananaliksik na 60% ng mga reputable na pahayagan ay humaharang ng hindi bababa sa isang AI crawler, habang 9. 1% lamang ng mga site ng maling impormasyon ang nagkakaroon ng ganitong restriksyon. Sa average, ang mga reputable na site ay hindi pinapayagang makaakses ng humigit-kumulang 15. 5 AI user agents, na nagpapakita ng malawak at sinadyang pagsisikap na limitahan ang awtomatikong pangongolekta ng datos, samantalang ang mga maling impormasyon na site ay karaniwang humihigpit ng kulang sa isang AI crawler. Tinignan din ng pag-aaral ang mga aktwal na hakbang sa blocking—mga real-time na depensa laban sa AI crawlers—at natuklasan na bagamat parehong uri ng site ay nagsasagawa nito, mas masigasig ang mga reputable na website sa pagpapatupad ng kanilang mga polisiya sa robots. txt. Ang mga magkaibang pamamaraang ito ay may epekto sa availability ng online na nilalaman para sa pagsasanay ng AI. Dahil heavily dependent ang AI sa datos mula sa web, maaaring maputol ng mas mahigpit na mga restriksyon mula sa mga kilalang pinanggalingan ang access sa magagandang datos, habang ang mas bukas na mga site ng maling impormasyon ay mapanganib na magdulot ng skew sa training ng AI patungkol sa mapagkakatiwalaang nilalaman. Ang agaw na ito sa paraan ay nagdudulot ng mahahalagang usapin tungkol sa etika at transparency, dahil maaaring mas matuto ang mga AI models mula sa mapanlinlang na impormasyon, na nakakaapekto sa kanilang pagiging maaasahan at patas. Ipinapakita ng mga natuklasan ang responsibilidad ng mga tagapaghatid ng nilalaman, lalo na ang mga kilalang media, na pamahalaan ang access ng mga crawler upang maprotektahan ang kanilang intelektwal na ari-arian at kontrolin ang distribusyon.

Gayundin, kailangang isaalang-alang ng mga AI developer ang mga limitasyong ito sa access upang mas maunawaan ang posibleng pagkiling at kakulangan sa kanilang mga modelo. Habang lumalalim ang integrasyon ng AI sa lipunan, tumataas din ang kahalagahan ng transparency tungkol sa pinaggagalingan at etika ng datos na ginagamit sa pagsasanay. Binibigyang-diin ng pag-aaral ang lumalaganap na paghahati sa pagitan ng mga kilalang website at mga site ng maling impormasyon sa kanilang mga praktis, na nagpapakita ng pangangailangan para sa patuloy na pananaliksik at usapan sa patakaran ukol sa accessibility ng nilalaman at responsable na pag-develop ng AI. Mahalaga ang pagtutulungan ng mga tagalikha ng nilalaman, mga mananaliksik sa AI, mga tagabatas, at publiko upang makabuo ng balanseng solusyon na iginagalang ang karapatan sa nilalaman habang pinangangalagaan ang tama at etikal na AI. Kasama sa mga posibleng hakbang ang paggawa ng standardized na gabay sa robots. txt para sa mga AI crawler, mas malawak na transparency sa datos ng pagsasanay ng AI, at pagpapalawak ng kamalayan ng publiko tungkol sa impluwensya sa mga nilikhang AI. Sa kabuuan, nagbibigay ang pag-aaral ng mahalagang ebidensya sa lumalaking kawalan ng pantay sa regulasyon ng AI crawler: ang mga kilalang media ay aktibong nagkukulong, habang ang mga site ng maling impormasyon ay nananatiling madalas na pumapayag. Ang dinamiko na ito ay humuhubog sa mga dataset ng pagsasanay ng AI at, sa gayon, sa kalidad at pagkiling ng mga resulta nito. Ang maingat at kooperatibong mga paraan ay mahalaga upang masiguro na ang AI ay makapagbibigay benepisyo sa lipunan nang ligtas at patas.