Eine aktuelle Studie zeigt deutliche Unterschiede darin, wie seriöse Nachrichtenwebsites und Desinformationsseiten den Zugriff von KI-Crawlern über robots. txt-Dateien steuern, einem Web-Protokoll zur Kontrolle der Crawler-Berechtigungen. Bei der Analyse eines Datensatzes beider Seitentypen stellte man fest, dass 60 % der seriösen Nachrichtenanbieter mindestens einen KI-Crawler blockieren, während nur 9, 1 % der Desinformationsseiten derart Einschränkungen auferlegen. Im Durchschnitt erlauben seriöse Seiten etwa 15, 5 KI-User-Agents, was auf eine breite, bewusste Anstrengung hinweist, automatisiertes Scraping zu begrenzen, während Desinformationsseiten typischerweise weniger als einen KI-Crawler einschränken. Die Studie untersuchte auch aktive Blockierungsmaßnahmen – Echtzeitschutz gegen KI-Crawler – und fand heraus, dass beide Seitentypen solche Praktiken anwenden, doch seriöse Nachrichten-Websites ihre robots. txt-Richtlinien konsequenter durchsetzen. Diese unterschiedlichen Ansätze beeinflussen die Verfügbarkeit von Online-Inhalten für das Training von KI-Modellen. Da KI stark auf Web-Daten angewiesen ist, könnten die strengeren Beschränkungen seriöser Quellen den Zugang zu hochwertigen Daten einschränken, während offenere Desinformationsseiten das KI-Training eher in Richtung unzuverlässiger Inhalte verzerren. Diese Diskrepanz wirft bedeutende ethische und Transparenzfragen auf, da KI-Modelle möglicherweise unverhältnismäßig von irreführenden Informationen lernen, was ihre Zuverlässigkeit und Fairness beeinträchtigen kann. Die Ergebnisse unterstreichen die Verantwortung der Content-Anbieter, insbesondere etablierter Medien, den Zugriff von Crawlern zu steuern, um geistiges Eigentum zu schützen und die Verbreitung zu kontrollieren.

Ebenso müssen KI-Entwickler diese Zugangsbeschränkungen berücksichtigen, um mögliche Verzerrungen und Lücken in ihren Modellen besser zu verstehen. Mit zunehmender Integration von KI in die Gesellschaft gewinnt die Transparenz bezüglich der Datenquellen und ethischer Standards bei der Schulung von KI-Modellen an Bedeutung. Die Studie hebt die aufkommende Kluft zwischen den Praktiken seriöser und Desinformationswebsites hervor und betont die Notwendigkeit fortlaufender Forschung und politischer Dialoge zu Themen wie Zugänglichkeit von Inhalten und verantwortungsvollem KI-Design. Kooperative Ansätze zwischen Content-Erstellern, KI-Forschern, Politikern und der Öffentlichkeit sind entscheidend, um ausgewogene Lösungen zu entwickeln, die Urheberrechte respektieren und zugleich eine sachliche, ethische KI fördern. Mögliche Maßnahmen umfassen standardisierte robots. txt-Richtlinien für KI-Crawler, eine verbesserte Transparenz bei KI-Trainingsdaten und die Sensibilisierung der Öffentlichkeit für Einflussfaktoren auf KI-generierte Inhalte. Zusammenfassend liefert die Studie wichtige Hinweise auf eine wachsende Asymmetrie bei der Regulierung von KI-Crawlern: Seriöse Medien beschränken den Zugriff aktiv, während Desinformationsseiten meist offen sind. Dieses Verhalten formt die Trainingsdaten von KI und wirkt sich auf die Qualität und Verzerrungen der KI-Ausgaben aus. Ein durchdachtes, kooperatives Vorgehen ist unerlässlich, um sicherzustellen, dass KI die Gesellschaft sicher und gerecht unterstützt.