Швидко змінюється спосіб відкриття контенту та бізнесу в Інтернеті. Раніше трафік надходив головним чином із традиційних пошукових систем, при цьому SEO визначало видимість. Зараз зростання трафіку спричиняють AI-сканери та агенти, які потребують структурованих даних із природного, орієнтованого на людину Інтернету. Щоб залишатися попереду, бізнесам потрібно переосмислити не лише людські візити або традиційне SEO, а й ставитися до AI-агентів як до рівноправних користувачів. Передавати сирий HTML AI є неефективно — HTML є багатослівним і важким у токенах порівняно з markdown. Наприклад, простий розділ "Про нас" коштує близько 3 токенів у markdown, але 12–15 у HTML, не враховуючи несемантичних елементів, таких як div-обгортки і скрипти, що збільшують кількість токенів без додавання змісту. Цей допис у блозі, ураховуючи токени, використовує 16 180 токенів у HTML, але лише 3 150 у markdown — це зменшення на 80%. Markdown став улюбленим форматом для AI-систем завдяки чіткій структурі, яка сприяє кращій обробці AI і зменшує витрати токенів. Однак, оскільки основа Інтернету — це HTML, а розміри сторінок зросли, AI-агентам потрібно фільтрувати зайві частини, щоб отримати релевантний контент. Перетворення HTML у markdown у роботах з AI є поширеним, але недосконалим — воно додає обчислювальні витрати, вартість, ускладнює процес і може не відображати задум творця. Cloudflare тепер пропонує інноваційне рішення — виконувати в реальному часі конвертацію HTML у markdown прямо у джерелі для сайтів у своїй мережі, де увімкнено Markdown для Agents.

AI-системи можуть запитувати версії сторінок у форматі markdown через заголовок Accept для погодження контенту, вказуючи "text/markdown". Cloudflare отримує оригінальний HTML і автоматично конвертує його у markdown "на льоту", забезпечуючи швидкий і оптимізований для AI відповідь. Наприклад, запит curl із заголовком “Accept: text/markdown” отримує markdown-контент із документації розробника Cloudflare. Розробники AI, що використовують Cloudflare Workers, також можуть задавати цей заголовок у запитах типу fetch на TypeScript. Популярні агенти-кодери, такі як Claude Code і OpenCode, вже використовують цей підхід і отримують відповіді у форматі markdown, що полегшує парсинг і підвищує ефективність використання токенів. Відповіді також містять заголовок x-markdown-tokens, що оцінює кількість токенів і допомагає AI-системам оптимізувати контекст і стратегії розбиття. Markdown для Agents інтегрується з фреймворком Content Signals від Cloudflare, представленим під час Тижня народження, що дозволяє авторам контенту керувати дозволами на використання AI. Відповіді мають включати заголовки на кшталт Content-Signal: ai-train=yes, search=yes, ai-input=yes, що сигналізують про згоду на навчання AI, індексування пошуку та використання агентами, з можливістю налаштувати спеціальні політики у майбутньому. Cloudflare увімкнув цю функцію у своїй документації для розробників і блозі, заохочуючи пошукових роботів до споживання markdown замість HTML, що покращує ефективність і семантику. Для систем AI, які потребують конвертації документів поза Cloudflare або коли Markdown для Agents недоступний, компанія пропонує альтернативні рішення: - AI. toMarkdown() для Workers підтримує різні типи документів і підсумовування. - Веб-браузерний рендеринг через REST API /markdown конвертує динамічні сторінки після рендерингу. Cloudflare Radar тепер відстежує запити типу контенту AI-ботами та сканерами глобально і по кожному агенту, зокрема статистику отримання markdown, наприклад, від OpenAI’s OAI-Searchbot, що працює для ChatGPT. Ці дані допомагають стежити за тенденціями споживання AI-контенту і доступні через відкриті API та Data Explorer. Щоб увімкнути Markdown для Agents, користувачі можуть зробити відповідний перемикач у панелі управління Cloudflare для свого зони. На даний момент ця функція перебуває в бета-версії і доступна безкоштовно для планів Pro, Business, Enterprise та для клієнтів SaaS з SSL. Підсумовуючи, з зростанням відкриття контенту за допомогою AI, впровадження Markdown для Agents дозволяє сайтам ефективно подавати структурований, компактний контент прямо AI, знижуючи обчислювані витрати, дотримуючись намірів творця і готуючись до майбутнього взаємодії з Інтернетом.