수요일에 Cloudflare는 "AI Labyrinth"라는 기능을 도입했습니다. 이 기능은 봇에게 가짜 AI 생성 콘텐츠를 제공하여 무단 AI 데이터 스크래핑을 방지하기 위해 설계되었습니다. 이 도구는 ChatGPT와 같은 AI 어시스턴트에 사용되는 대규모 언어 모델을 위한 데이터를 수집하기 위해 웹사이트를 크롤링하는 AI 회사들을 겨냥하고 있습니다. 2009년에 설립된 Cloudflare는 특히 DDoS 공격에 대한 웹사이트 인프라 및 보안 서비스로 인정받고 있습니다. 단순히 봇을 차단하는 대신, AI Labyrinth는 그들을 오해를 일으킬 수 있으나 신뢰할 수 있는 웹페이지의 '미로'로 유인하여 크롤러의 자원을 소모시키고 있습니다. 이는 단순히 봇을 차단하는 기존의 방어 접근 방식에서 벗어난 것으로, 봇을 차단하면 그 운영자에게 감지되고 있다는 신호를 줄 수 있기 때문입니다. 이 도구는 실제 웹사이트와는 관련이 없지만 진짜 과학적 사실을 기반으로 만들어진 콘텐츠를 생성하여 잘못된 정보의 확산을 피합니다. 이 콘텐츠는 Cloudflare의 Workers AI 서비스를 사용하여 생성되며, 이러한 기만적인 페이지는 일반 사용자에게는 숨겨져 있습니다. AI Labyrinth는 전통적인 방법을 개선한 "차세대 허니팟" 역할을 하며, 봇들이 쉽게 탐색할 수 있는 기존의 방법보다 한 단계 발전했습니다.

사용된 링크는 스크래퍼에게 매력적이면서도 검색 엔진 인덱싱을 방지하도록 설계되었습니다. 이 기술은 Cloudflare가 악성 봇을 식별하고 지문을 생성하여, 그들의 네트워크 전반에 걸쳐 봇 탐지를 강화하는 기계 학습 시스템에 데이터를 제공할 수 있게 합니다. 무료 요금제를 사용하는 사용자들 포함 모든 사용자는 대시보드를 통해 이 기능을 활성화할 수 있습니다. AI 크롤링의 증가는 상당하며, Cloudflare는 AI 봇이 매일 500억 건 이상의 요청을 생성하고 있으며 이는 모든 웹 트래픽의 약 1%를 차지한다고 언급했습니다. 이는 무단 데이터 수집에 대한 우려를 불러일으켜 콘텐츠 제작자들로부터 법적 조치를 촉발하고 있습니다. AI의 방어적 응용 프로그램을 제공하면서, AI Labyrinth가 적응형 크롤러를 저지하는 데 얼마나 효과적인지는 불확실합니다. Cloudflare는 거짓 콘텐츠를 탐지하기 어렵게 만들고 웹 아키텍처와 더 잘 통합하도록 더욱 향상될 것을 구상하고 있습니다. 웹사이트와 스크래퍼 간의 진행 중인 쫓고 쫓기는 동역학은 계속되며, 이 양측 모두에서 AI가 중요한 역할을 하고 있습니다.