A Amazon Web Services está atualmente conduzindo uma investigação para determinar se a Perplexity AI está violando suas regras, conforme relatado pela Wired. Especificamente, a divisão de nuvem da empresa está investigando alegações de que a Perplexity AI está utilizando um rastreador hospedado em seus servidores que ignora o Protocolo de Exclusão de Robôs. Esse protocolo, um padrão da web, envolve desenvolvedores colocando um arquivo robots. txt em um domínio para instruir bots se eles podem ou não acessar uma página específica. Embora a adesão a essas instruções seja voluntária, empresas respeitáveis geralmente as têm seguido desde a implementação delas nos anos 1990. Em um artigo anterior, a Wired descobriu uma máquina virtual hospedada em um servidor da Amazon Web Services com o endereço IP 44. 221. 181. 252, que estava ignorando as instruções do robots. txt em seu site. Diz-se que essa máquina visitou várias propriedades da Condé Nast várias vezes nos últimos três meses para coletar seu conteúdo. Outras publicações, como The Guardian, Forbes e The New York Times, também relataram múltiplas visitas da mesma máquina. A Wired conduziu um experimento em que inseriu manchetes ou descrições breves de seus artigos no chatbot da Perplexity para verificar se a empresa estava coletando seu conteúdo.

As respostas do chatbot parafrasearam os artigos "com atribuição mínima". Um relatório recente da Reuters sugere que a Perplexity não é a única empresa de IA que ignora arquivos robots. txt para coletar conteúdo para treinar modelos de linguagem grandes. No entanto, a Wired forneceu à Amazon apenas informações sobre o rastreador da Perplexity AI. A Amazon Web Services declarou: "Os termos de serviço da AWS proíbem atividades abusivas e ilegais, e nossos clientes são responsáveis por cumprir esses termos. " Eles também mencionaram que regularmente recebem relatórios de abuso alegado e os investigam de acordo. A porta-voz da Perplexity, Sara Platnick, respondeu às perguntas da Amazon, afirmando que seus rastreadores seguem o Protocolo de Exclusão de Robôs e não violam os Termos de Serviço da AWS. Platnick também mencionou que a investigação da Amazon sobre a investigação de mídia da Wired segue seu protocolo padrão para investigar relatórios potenciais de abuso de recursos. No entanto, Platnick admitiu para a Wired que o PerplexityBot ignorará o robots. txt quando os usuários incluírem uma URL específica em sua pesquisa ao chatbot. Aravind Srinivas, CEO da Perplexity, anteriormente negou alegações de que sua empresa ignorou o Protocolo de Exclusão de Robôs e depois mentiu sobre isso. Srinivas admitiu que a Perplexity utiliza rastreadores web de terceiros além dos próprios, e o bot identificado pela Wired é um deles. Atualização, 28 de junho de 2024, 14h20 ET: Esta postagem foi atualizada para incluir o comunicado da Perplexity para a Engadget. Atualização, 28 de junho de 2024, 20h27 ET: Esta postagem foi atualizada para incluir uma declaração da Amazon Web Services.