Generatieve AI-modellen zijn afhankelijk van grote trainingsdatasets, die meestal bestaan uit openbare gegevens van internet. Echter, organisaties beperken steeds vaker de toegang tot hun gegevens via robots. txt-bestanden, uit angst voor de mogelijke impact van generatieve AI op hun bedrijfsvoering. Deze beperking vormt uitdagingen voor AI-bedrijven die sterk afhankelijk zijn van dergelijke gegevens. Het rapport van de Data Provenance Initiative, getiteld 'Consent in Crisis: The Rapid Decline of the AI Data Commons, ' onthult dat een aanzienlijk deel van de gegevens die worden gebruikt om AI-modellen te trainen, de afgelopen jaren is beperkt.

Deze beperking heeft niet alleen invloed op de kwaliteit en actualiteit van de gegevens, maar creëert ook een kloof tussen modellen die robots. txt respecteren en degenen die dat niet doen. Sommige voorgestelde oplossingen omvatten het rechtstreeks licentiëren van gegevens van organisaties, het gebruik van synthetische gegevens, of manieren vinden om verborgen gegevens te extraheren, zoals die in PDF's zijn opgesloten. Het rapport benadrukt de noodzaak van standaardisatie binnen de industrie en verbeterde mechanismen voor het uitdrukken van gegevensgebruiksvoorkeuren die de belangen van verschillende belanghebbenden in balans brengen.