Un studiu recent relevă diferențe evidente în modul în care site-urile de știri de încredere și site-urile de dezinformare gestionează accesul crawler-ilor AI prin fișierele robots. txt, un protocol web care controlează permisiunile crawler-ilor. Analizând un set de date al ambelor tipuri de site-uri, cercetătorii au descoperit că 60% dintre publicațiile de încredere blochează cel puțin un crawler AI, în timp ce doar 9, 1% dintre site-urile de dezinformare impun astfel de restricții. În medie, site-urile de încredere limitează aproximativ 15, 5 agenți utilizatori AI, ceea ce indică un efort deliberat și general de a restricționa scrapingul automat, în timp ce site-urile de dezinformare restricționează de obicei mai puțin de un crawler AI. Studiul a analizat, de asemenea, măsurile active de blocare — protecții în timp real împotriva crawler-ilor AI — și a constatat că, deși ambele tipuri de site-uri utilizează astfel de practici, site-urile de știri de încredere aplică mai consistent politicile din fișierul robots. txt. Aceste abordări opuse afectează disponibilitatea conținutului online pentru antrenarea modelelor AI. Deoarece AI-ul depinde în mare măsură de datele web, restricțiile mai stricte ale surselor de încredere pot limita accesul la date de calitate, în timp ce site-urile de dezinformare, fiind mai deschise, riscă să influențeze antrenamentul AI-ului către conținut nesigur sau înșelător. Această disparitate ridică probleme importante de etică și transparență, deoarece modelele AI pot învăța în mod disproporționat din informații înșelătoare, afectând fiabilitatea și echitatea acestora. Rezultatele evidențiază responsabilitatea furnizorilor de conținut, în special a mediilor consacrate, de a gestiona accesul crawler-ilor pentru a-și proteja proprietatea intelectuală și a controla distribuția.

De asemenea, dezvoltatorii AI trebuie să țină cont de aceste limitări de acces pentru a înțelege mai bine posibilele bări și lacune din modelele lor. Pe măsură ce integrarea AI în societate devine tot mai profundă, transparența privind sursele datelor de antrenament și etica devin tot mai urgente. Studiul subliniază diviziunile emergente dintre practicile site-urilor de încredere și cele de dezinformare, accentuând necesitatea continuării cercetărilor și dialogurilor politice asupra accesibilității conținutului și dezvoltării responsabile a AI-ului. Eforturile colaborative între creatorii de conținut, cercetătorii AI, factorii de decizie și publicul larg vor fi esențiale pentru a găsi soluții echilibrate care respectă drepturile asupra conținutului și promovează un AI precis și etic. Măsuri potențiale includ ghiduri standardizate pentru fișierele robots. txt dedicate crawler-ilor AI, transparență mai mare în datele de antrenament ale AI și creșterea conștientizării publicului asupra influențelor asupra conținutului generat de AI. În concluzie, studiul evidențiază o asimetrie în creștere în reglementarea crawler-ilor AI: sursele de încredere restricționează activ accesul, în timp ce site-urile de dezinformare rămân în general permissive. Această dinamică modelează seturile de date pentru antrenamentul AI, precum și calitatea și biaisurile rezultatelor AI. Abordările deja cooperaționale și bine gândite sunt esențiale pentru a asigura faptul că AI-ul servește societatea în mod sigur și echitabil.