Amazon Web Services в настоящее время проводит расследование, чтобы определить, нарушает ли Perplexity AI его правила, как сообщает Wired. В частности, облачное подразделение компании исследует обвинения в том, что Perplexity AI использует веб-сканер, размещенный на его серверах, который не учитывает протокол запретов для роботов. Этот протокол, являющийся веб-стандартом, предусматривает, что разработчики размещают файл robots. txt на домене, чтобы инструктировать роботов о том, могут ли они получить доступ к определенной странице или нет. Хотя соблюдение этих инструкций является добровольным, респектабельные компании в основном уважают их с момента их внедрения в 1990-х годах. В предыдущей статье Wired обнаружено виртуальное устройство, размещенное на сервере Amazon Web Services с IP-адресом 44. 221. 181. 252, которое игнорировало инструкции robots. txt на своем веб-сайте. Говорят, что это устройство посещало различные свойства Condé Nast несколько раз за последние три месяца для сканирования их контента. Другие публикации, такие как The Guardian, Forbes и The New York Times, также сообщили о нескольких посещениях этого же устройства. Wired провел эксперимент, в котором они вводили заголовки или краткие описания своих статей в чат-бот Perplexity, чтобы проверить, сканирует ли компания их контент.

Ответы чат-бота близко парафразируют статьи "с минимальным указанием источника". Согласно недавнему докладу Reuters, Perplexity не единственная компания, использующая файлы robots. txt, чтобы собирать контент для обучения больших языковых моделей. Однако Wired предоставила Amazon только информацию о веб-сканере Perplexity AI. Amazon Web Services заявила: "Условия предоставления услуг AWS запрещают злоупотребления и незаконные действия, и наши клиенты отвечают за соблюдение этих условий". Они также упомянули, что регулярно получают сообщения о предполагаемом злоупотреблении и проводят соответствующие расследования. Речник Perplexity, Сара Платник, ответила на запросы Amazon, заявив, что их веб-сканеры соблюдают протокол запретов для роботов и не нарушают условий использования AWS. Платник также упомянула, что проверка со стороны Amazon связана со стандартным протоколом расследования возможных сообщений о злоупотреблении ресурсами. Однако Платник признала перед Wired, что PerplexityBot игнорирует robots. txt, когда пользователи включают специфический URL-адрес в своем запросе к чат-боту. Аравинд Сринивас, генеральный директор Perplexity, ранее отрицал утверждения о том, что его компания игнорировала протокол запретов для роботов и затем врала об этом. Сринивас признал, что Perplexity использует веб-сканеры сторонних разработчиков в дополнение к собственным, и тот, на которого указал Wired, является одним из них. Обновление, 28 июня 2024 года, 14:20 по восточному времени: Этот пост был обновлен, включая заявление Perplexity в адрес Engadget. Обновление, 28 июня 2024 года, 20:27 по восточному времени: Этот пост был обновлен, включая заявление от Amazon Web Services.