Amazon Web Services undersøger i øjeblikket, om Perplexity AI overtræder dets regler, som rapporteret af Wired. Specifikt ser virksomhedens cloud-division på beskyldninger om, at Perplexity AI bruger en crawler, der er hostet på deres servere og ikke overholder Robots Exclusion Protocol. Dette protokol er en web-standard, hvor udviklere placerer en robots. txt fil på en domæne for at instruere bots om, hvorvidt de kan få adgang til en bestemt side eller ej. Selvom overholdelse af disse instruktioner er frivillig, har anerkendte virksomheder generelt respekteret dem siden deres implementering i 1990'erne. I en tidligere artikel opdagede Wired en virtuel maskine, der var hostet på en Amazon Web Services-server med IP-adressen 44. 221. 181. 252, og som omgik de robots. txt instruktioner på deres hjemmeside. Det siges, at denne maskine har besøgt forskellige Condé Nast-egenskaber flere gange i løbet af de sidste tre måneder for at skrabe deres indhold. Andre publikationer som The Guardian, Forbes og The New York Times har også rapporteret flere besøg fra den samme maskine. Wired udførte et eksperiment, hvor de indtastede overskrifter eller korte beskrivelser af deres artikler i Perplexity's chatbot for at verificere, om virksomheden skrabede deres indhold. Chatbotens svar var tæt på at parafrasere artiklerne "med minimal attribuering. " En nylig Reuters-rapport antyder, at Perplexity ikke er det eneste AI-selskab, der omgår robots. txt-filer for at indsamle indhold til træning af store sprogmodeller. Dog gav Wired kun Amazon oplysninger omkring Perplexity AI's crawler.

Amazon Web Services udtalte, "AWS's servicevilkår forbyder misbrug og ulovlige aktiviteter, og det er vores kunder ansvar at overholde disse vilkår. " De nævnte også, at de regelmæssigt modtager rapporter om påstået misbrug og undersøger dem i overensstemmelse hermed. Perplexity's talsperson, Sara Platnick, svarede på Amazons henvendelser og fastslog, at deres crawlere overholder Robots Exclusion Protocol og ikke overtræder AWS's servicevilkår. Platnick nævnte også, at Amazons undersøgelse af Wireds medieforespørgsel følger deres standardprotokol for at undersøge potentielle rapporter om ressourcemisbrug. Dog indrømmede Platnick over for Wired, at PerplexityBot vil ignorere robots. txt, når brugerne inkluderer en bestemt URL i deres chatbot-forespørgsel. Aravind Srinivas, CEO for Perplexity, afviste tidligere påstande om, at hans virksomhed ignorerede Robots Exclusion Protocol og derefter løj om det. Srinivas indrømmede dog, at Perplexity også bruger tredjepart web crawlere udover deres egne, hvor robotten identificeret af Wired er en af dem. Opdatering, 28. juni 2024, kl. 14:20 ET: Dette indlæg er blevet opdateret med Perplexity's udtalelse til Engadget. Opdatering, 28. juni 2024, kl. 20:27 ET: Dette indlæg er blevet opdateret med en udtalelse fra Amazon Web Services.