Uno studio recente rivela incredibili differenze nel modo in cui i siti di notizie affidabili e i siti di disinformazione gestiscono l'accesso ai crawler AI attraverso i file robots. txt, un protocollo web che controlla le autorizzazioni dei crawler. Analizzando un dataset di entrambi i tipi di siti, i ricercatori hanno scoperto che il 60% dei siti di notizie affidabili blocca almeno un crawler AI, mentre solo il 9, 1% dei siti di disinformazione impone tali restrizioni. In media, i siti affidabili proibiscono circa 15, 5 user agent AI, indicando uno sforzo ampio e deliberato per limitare il scraping automatizzato, mentre i siti di disinformazione di solito limitano meno di un crawler AI. Lo studio ha esaminato anche le misure di blocco attivo—difese in tempo reale contro i crawler AI— e ha scoperto che, sebbene entrambe le tipologie di siti adottino queste pratiche, i siti di notizie affidabili applicano più coerentemente le proprie politiche robots. txt. Questi approcci contrastanti influenzano la disponibilità dei contenuti online per l’addestramento dei modelli di AI. Poiché l’AI dipende fortemente dai dati web, le restrizioni più severe da fonti affidabili possono limitare l’accesso a dati di qualità, mentre i siti di disinformazione più aperti rischiano di distorcere l’addestramento dell’AI verso contenuti poco affidabili. Questa disparità solleva importanti questioni etiche e di trasparenza, poiché i modelli di AI potrebbero imparare in modo sproporzionato da informazioni fuorvianti, compromettono la loro affidabilità e correttezza. I risultati mettono in evidenza la responsabilità dei fornitori di contenuti, specialmente i media consolidati, di gestire l’accesso dei crawler per proteggere la proprietà intellettuale e controllare la distribuzione.

Allo stesso modo, gli sviluppatori di AI devono considerare queste limitazioni di accesso per meglio comprendere i potenziali bias e le lacune dei propri modelli. Con l’approfondirsi dell’integrazione dell’AI nella società, la trasparenza sulle fonti dei dati di addestramento e sull’etica diventa sempre più urgente. Lo studio sottolinea l’emergere di una divisione crescente tra le pratiche dei siti affidabili e quelli di disinformazione, evidenziando la necessità di un dialogo continuo tra ricerca e politica su accessibilità ai contenuti e sviluppo responsabile dell’AI. Sforzi collaborativi tra creatori di contenuti, ricercatori di AI, decisori politici e pubblico saranno fondamentali per sviluppare soluzioni equilibrate che rispettino i diritti sui contenuti e promuovano un’AI accurata ed etica. Tra le possibili misure ci sono linee guida standardizzate per robots. txt per i crawler AI, maggiore trasparenza nei dati di addestramento e sensibilizzazione pubblica sugli influenze sui contenuti generati dall’AI. In definitiva, lo studio fornisce importanti prove di una crescente asimmetria nella regolamentazione dei crawler AI: i media affidabili limitano attivamente l’accesso, mentre i siti di disinformazione sono per lo più permissivi. Questa dinamica influenza i dataset di addestramento dell’AI e, di conseguenza, la qualità e i bias dei risultati dell’AI stessa. Approcci ponderati e cooperativi sono essenziali per assicurare che l’AI possa beneficiare la società in modo sicuro ed equo.