이 포스트는 JetOctopus의 후원으로, 기존 구글 SEO를 넘어 AI 기반 검색엔진인 ChatGPT, Perplexity 등에 최적화된 웹사이트 전략에 대한 통찰을 공유합니다. AI 봇의 크롤링 방식, 기술적 SEO 전략의 적응, 변화하는 검색 환경의 이해에 관한 핵심 질문에 답합니다. 2026년까지, 여러분의 사이트의 검색 노출 대부분은 AI 에이전트가 사용자 탐색을 위해 정보를 수집하는 것에서 비롯될 것입니다. 인간과 달리 이 기계들은 HTML이 깔끔하게 200밀리초 이내에 로드되거나, 상품페이지가 최소 네 번의 클릭 내에 접근 가능하거나, 9단어로 된 구체적이고 때로는 새로운 질문에 대해 정확히 답하는 내용 등을 우선시합니다. 이 통찰은 2025년 중순 이후부터 수백 개의 기업 사이트 서버 로그 데이터로 뒷받침됩니다. **당신 사이트에서 일어나는 일:** 쿼리 길이가 비정상적으로 빠르게 늘고 있는데, 예를 들어 10단어 쿼리가 작년 대비 161% 증가했습니다. 이는 AI의 ‘팬 아웃(fan-out)’ 방식을 통해 하나의 사용자 쿼리가 여러 개의 하위 쿼리로 분해되는 현상 때문입니다. 긴 쿼리의 노출은 증가했지만, 클릭률은 급격히 2. 26%로 하락했습니다. 이는 AI가 사용자 대신 답을 읽고 종합하여, 사용자에게 사이트 방문을 유도하지 않기 때문입니다. 이러한 ‘팬텀 임프레션(phantom impressions)’은 AI가 여러분의 콘텐츠를 실제로 평가한다는 의미이며, 이를 보고서에서 배제하면 중요한 신호를 놓칠 수 있습니다. **AI 봇의 세 가지 유형과 그 영향:** 1. **트레이닝 봇:** 광범위하게 크롤링하며 클릭 깊이는 무시; AI가 여러분의 콘텐츠를 봤다는 것만 확인 가능, 사용자 노출 여부 보장은 없음. 2. **AI 검색 봇:** 페이지를 탐색하긴 하지만 보통 2~3번 클릭 이내이며, 월 1회 방문. 3. **AI 사용자 봇:** 실제 사용자 검색에 의해 유발되며, 사용자 쿼리와 관련된 콘텐츠를 방문하고 AI 노출을 촉진함. 트레이닝 또는 검색 봇이 많은 크롤링을 한다고 해서 콘텐츠가 AI 답변에 등장하는 것은 아닙니다. 로깅 데이터를 봇 유형별로 분류하지 않으면 전체 그림의 일부만 볼 수 있습니다. **LLMs이 존중하는 SEO 신호:** - **Robots. txt:** 가장 중요하며, 대부분의 AI 크롤러(ChatGPT, Claude, Gemini)는 이를 준수; PerplexityBot은 일부 준수, 사용자 봇은 미준수. 꼭 검토 후 업데이트하세요. - **XML 사이트맵:** URL 탐색에 폭넓게 이용되며, 정확히 유지하는 것이 좋음. 메타 태그(캐노니컬 태그, noindex 등), LLM. txt 파일 등은 AI 봇의 가시성에 영향을 미치지 않으며 무시됩니다. **JavaScript 렌더링:** 대부분의 AI 크롤러는 JavaScript를 렌더링하지 않기 때문에, 핵심 콘텐츠가 클라이언트 측에서 로드된다면 AI는 빈 페이지만 인식할 수 있습니다. 따라서 서버사이드 렌더링이 필수적입니다. Google Gemini는 Googlebot의 렌더링 기술을 이용하기 때문에 예외입니다. **AI 접근성 향상 전략:** AI 검색 봇은 3단계 이상의 깊이로 크롤링하지 않으니, 내부 링크 구조를 개선하여 중요한 깊은 페이지들이 4클릭 이내에 도달 가능하게 만드세요.

트레이닝 봇이 방문하였으나 사용자 봇이 무시하는 페이지는 우선 수정 대상이고, 자주 방문되는 페이지는 콘텐츠 확장 기회입니다. **장기 팬 아웃 쿼리 최적화:** 전체 AI 기반 쿼리의 95%는 검색량이 없고, AI가 생성한 하위 쿼리입니다. 기회를 찾기 위해서는 구글 서치 콘솔(GSC)에서 7단어 이상이며 노출 수가 50 미만, 클릭이 0인 쿼리를 필터링하는 ‘팬 아웃 기회 매트릭스’를 활용하세요. 목록, 비교, 리뷰, 장단점 형식의 콘텐츠 구조화가 이들 쿼리를 포착하는데 유리합니다. 특히 2025년 중반 이후부터 상품 리뷰 쿼리의 급증(16, 000%)는 상세하고 구조화된 콘텐츠의 중요성을 보여줍니다. **기술적 감사 절차:** 1. 서버 로그에서 사용자 에이전트 필터링을 통해 AI 사용자 봇 트래픽 확인, JetOctopus와 같은 도구 활용 추천. 2. HTML 페이로드를 확인하여 깊은 페이지 접근성을 점검, JavaScript 의존 콘텐츠 방지, 빠른 로드 타임과 낮은 클릭 깊이 확보. 3. robots. txt를 꼼꼼히 점검하여 AI 봇 차단이나 민감 정보 노출 방지. 4. GSC API 내보내기를 활용하여 팬 아웃 임프레션을 맵핑, 콘텐츠 관련 AI 쿼리 파악 후 대응 전략 세우기. 5. AI 봇 활동, Core Web Vitals, SEO 성과의 변화를 지속적으로 모니터링하며, JetOctopus Alerts 같은 도구로 통합 보고. **새로운 KPI—기술적 접근성:** 2026년 SEO 성공의 핵심은, AI 에이전트가 어떤 페이지든 200ms 이내에 크롤링하고 사실을 추출할 수 있는지 여부입니다. 그렇지 않으면 기존 SEO는 점차 영향력을 잃고, AI가 검색을 지배하게 됩니다. 이를 위해 로그를 꼼꼼히 분석하는 것이 모든 최적화의 기초입니다. 요약하자면, AI 기반 검색은 SEO 전략의 재고를 요구합니다: 기술적 접근성 강화, 내부 깊이 있는 링크, 서버사이드로 정제된 콘텐츠, 복잡한 AI 쿼리 최적화. 정기적인 로그 분석과 AI 봇 행동에 따른 수정이 점점 더 중요해지고 있습니다. 이는 차세대 기계중심 검색 생태계에서 가시성을 유지하는 핵심입니다. *이미지 출처: JetOctopus (사용 허가하에)*