Amazon Web Services mène actuellement une enquête afin de déterminer si Perplexity AI enfreint ses règles, selon Wired. Plus précisément, la division cloud de l'entreprise examine les allégations selon lesquelles Perplexity AI utilise un crawler hébergé sur ses serveurs qui ignore le protocole d'exclusion des robots. Ce protocole, une norme Web, implique que les développeurs placent un fichier robots. txt sur un domaine pour indiquer aux robots s'ils peuvent ou non accéder à une page spécifique. Bien que le respect de ces instructions soit facultatif, les entreprises réputées les ont généralement respectées depuis leur mise en œuvre dans les années 1990. Dans un article précédent, Wired a découvert une machine virtuelle hébergée sur un serveur Amazon Web Services avec l'adresse IP 44. 221. 181. 252, qui contournait les instructions du robots. txt sur son site Web. On dit que cette machine a visité plusieurs propriétés de Condé Nast à plusieurs reprises au cours des trois derniers mois pour récupérer leur contenu. D'autres publications telles que The Guardian, Forbes et The New York Times ont également signalé de multiples visites de la même machine. Wired a effectué une expérience où ils ont inséré des titres ou de brèves descriptions de leurs articles dans le chatbot de Perplexity pour vérifier si l'entreprise récupérait leur contenu.

Les réponses du chatbot ont étroitement paraphrasé les articles "avec un minimum d'attribution". Un rapport récent de Reuters suggère que Perplexity n'est pas la seule entreprise d'IA à contourner les fichiers robots. txt pour collecter du contenu visant à former de grands modèles linguistiques. Cependant, Wired n'a fourni qu'à Amazon des informations concernant le crawler de Perplexity AI. Amazon Web Services a déclaré : "Les conditions de service d'AWS interdisent les activités abusives et illégales, et nos clients sont responsables de leur respect. " Ils ont également mentionné qu'ils reçoivent régulièrement des signalements d'abus présumés et les enquêtent en conséquence. La porte-parole de Perplexity, Sara Platnick, a répondu aux demandes d'Amazon en affirmant que leurs crawlers respectent le protocole d'exclusion des robots et ne violent pas les conditions de service d'AWS. Platnick a également mentionné que l'examen d'Amazon de l'enquête médiatique de Wired suit leur protocole habituel pour enquêter sur les signalements potentiels d'abus de ressources. Cependant, Platnick a admis à Wired que PerplexityBot ignorerait le fichier robots. txt lorsque les utilisateurs incluent une URL spécifique dans leur requête auprès du chatbot. Aravind Srinivas, le PDG de Perplexity, a auparavant nié les accusations selon lesquelles sa société ignorait le protocole d'exclusion des robots et les aurait ensuite niées. Srinivas a admis que Perplexity utilise des crawlers web tiers en plus des siens, le bot identifié par Wired étant l'un d'entre eux. Mise à jour, 28 juin 2024, 14h20 (heure de l'Est) : Cet article a été mis à jour pour inclure la déclaration de Perplexity à Engadget. Mise à jour, 28 juin 2024, 20h27 (heure de l'Est) : Cet article a été mis à jour pour inclure une déclaration d'Amazon Web Services.