Amazon Web Services führt derzeit eine Untersuchung durch, um festzustellen, ob Perplexity AI gegen seine Regeln verstößt, wie Wired berichtet. Insbesondere die Cloud-Division des Unternehmens prüft Vorwürfe, dass Perplexity AI einen Crawler, der auf seinen Servern gehostet wird, nutzt und dabei das Robots Exclusion Protocol missachtet. Dieses Protokoll, ein Web-Standard, beinhaltet, dass Entwickler eine robots. txt-Datei auf einer Domain platzieren, um Bots anzuweisen, ob sie auf eine bestimmte Seite zugreifen dürfen oder nicht. Obwohl die Einhaltung dieser Anweisungen freiwillig ist, haben seriöse Unternehmen sie im Allgemeinen seit ihrer Einführung in den 1990er Jahren respektiert. In einem früheren Artikel entdeckte Wired eine virtuelle Maschine, die auf einem Amazon Web Services Server mit der IP-Adresse 44. 221. 181. 252 gehostet wurde und die Anweisungen in ihrer robots. txt-Datei auf der Website umging. Diese Maschine soll in den letzten drei Monaten wiederholt verschiedene Eigenschaften von Condé Nast besucht haben, um deren Inhalte abzurufen. Auch andere Publikationen wie The Guardian, Forbes und The New York Times berichteten von mehrfachen Besuchen derselben Maschine. Wired führte ein Experiment durch, bei dem sie Schlagzeilen oder kurze Beschreibungen ihrer Artikel in den Chatbot von Perplexity eingaben, um zu überprüfen, ob das Unternehmen ihre Inhalte abgreift. Die Antworten des Chatbots paraphrasierten die Artikel "mit minimaler Kennzeichnung". Ein kürzlich erschienener Reuters-Bericht legt nahe, dass Perplexity nicht das einzige KI-Unternehmen ist, das robots. txt-Dateien umgeht, um Inhalte für das Training großer Sprachmodelle zu sammeln.

Allerdings lieferte Wired Amazon nur Informationen über den Crawler von Perplexity AI. Amazon Web Services erklärte: "Die Nutzungsbedingungen von AWS verbieten missbräuchliches und illegales Verhalten, und unsere Kunden sind für die Einhaltung dieser Bedingungen verantwortlich. " Sie erwähnten weiter, dass sie regelmäßig Berichte über mutmaßlichen Missbrauch erhalten und diese entsprechend untersuchen. Sara Platnick, Sprecherin von Perplexity, antwortete auf die Anfragen von Amazon und betonte, dass ihre Crawler das Robots Exclusion Protocol einhalten und nicht gegen die AWS-Nutzungsbedingungen verstoßen. Platnick erwähnte auch, dass Amazons Untersuchung der Anfrage von Wired dem Standardprotokoll zur Untersuchung potenzieller Missbrauchsberichte folgt. Allerdings gab Platnick gegenüber Wired zu, dass PerplexityBot die robots. txt-Dateien nicht berücksichtigt, wenn Nutzer eine bestimmte URL in ihrer Chatbot-Anfrage angeben. Aravind Srinivas, der CEO von Perplexity, bestritt zuvor die Behauptungen, dass sein Unternehmen das Robots Exclusion Protocol missachtet und darüber gelogen habe. Srinivas räumte jedoch ein, dass Perplexity neben eigenen auch Drittanbieter-Crawler verwendet, wobei der von Wired identifizierte Bot einer von ihnen ist. Update, 28. Juni 2024, 14:20 Uhr ET: Dieser Beitrag wurde aktualisiert, um die Stellungnahme von Perplexity gegenüber Engadget einzubeziehen. Update, 28. Juni 2024, 20:27 Uhr ET: Dieser Beitrag wurde aktualisiert, um eine Aussage von Amazon Web Services einzubeziehen.