A forma como o conteúdo e os negócios são descobertos online está evoluindo rapidamente. Antes, o tráfego vinha principalmente de mecanismos de busca tradicionais, com SEO determinando a visibilidade. Agora, o aumento do tráfego é impulsionado por crawlers e agentes de IA que exigem dados estruturados de uma web intrinsecamente não estruturada e focada no humano. Para se manter à frente, as empresas devem reconsiderar não apenas os visitantes humanos ou o SEO tradicional, mas também tratar os agentes de IA como usuários de primeira classe. Fornecer HTML cru para a IA é ineficiente — HTML é extenso e pesado em tokens, especialmente em comparação com markdown. Por exemplo, uma seção simples de "Sobre Nós" custa cerca de 3 tokens em markdown, mas entre 12 e 15 tokens em HTML, excluindo elementos não semânticos como wrappers div e scripts que inflacionam o uso de tokens sem adicionar significado. Este artigo, ao ser medido em tokens, utiliza 16. 180 tokens em HTML, mas apenas 3. 150 tokens em markdown — uma redução de 80%. O markdown tornou-se o formato preferido para sistemas de IA devido à sua estrutura explícita, que favorece um processamento melhor do IA e reduz o desperdício de tokens. Contudo, como a web é composta principalmente por HTML e os tamanhos das páginas aumentaram, os agentes de IA precisam filtrar partes extras para acessar o conteúdo relevante. Converter HTML para markdown em fluxos de trabalho de IA é comum, mas imperfeito: acrescenta sobrecarga computacional, custo, complexidade e pode não refletir a intenção do criador. A Cloudflare agora oferece uma solução inovadora ao realizar conversão de HTML para markdown em tempo real na origem, para sites na sua rede com Markdown for Agents ativado.

Sistemas de IA podem solicitar versões em markdown das páginas via o cabeçalho de negociação de conteúdo Accept, especificando "text/markdown". A Cloudflare busca o HTML original e o converte automaticamente para markdown instantaneamente, entregando uma resposta otimizada para IA. Por exemplo, uma requisição curl com o cabeçalho “Accept: text/markdown” busca conteúdo em markdown na documentação de desenvolvedores da Cloudflare. Desenvolvedores de IA usando Cloudflare Workers também podem especificar esse cabeçalho em chamadas fetch com TypeScript. Agentes populares de codificação, como Claude Code e OpenCode, já utilizam essa abordagem, recebendo respostas em markdown que facilitam o parsing e melhoram a eficiência de tokens. As respostas também incluem um cabeçalho x-markdown-tokens, que estima a quantidade de tokens, ajudando os sistemas de IA a otimizarem as janelas de contexto e estratégias de chunking. O markdown para Agents integra-se ao framework Content Signals da Cloudflare, apresentado durante a Birthday Week, permitindo que criadores de conteúdo controlem permissões de uso de IA. As respostas incluem cabeçalhos como Content-Signal: ai-train=yes, search=yes, ai-input=yes, indicando consentimento para treino de IA, indexação por busca e uso por agentes, com opções para políticas personalizadas no futuro. A Cloudflare ativou esse recurso na sua Documentação de Desenvolvedores e no Blog, incentivando os crawlers de IA a consumir markdown em vez de HTML, melhorando eficiência e semântica. Para sistemas de IA que precisam de conversão de documentos fora da Cloudflare ou quando Markdown for Agents não estiver disponível, a Cloudflare oferece soluções alternativas: - AI. toMarkdown() do Workers AI, que suporta múltiplos tipos de documento e sumarização. - Renderização via navegador com a API REST /markdown, que converte páginas dinâmicas após renderização. O Cloudflare Radar agora monitora globalmente e por agente as requisições de conteúdo do tipo AI bot e crawler, incluindo estatísticas de recuperação de markdown, como aquelas do OAI-Searchbot da OpenAI, que alimenta a busca do ChatGPT. Esses dados ajudam a acompanhar as tendências no consumo de conteúdo por IA e estão disponíveis gratuitamente por APIs públicas e Data Explorer. Para ativar o Markdown for Agents, os usuários podem alternar esse recurso no painel do Cloudflare para sua zona. O recurso está atualmente em Beta, sem custo, para planos Pro, Business, Enterprise e clientes com SSL para SaaS. Em resumo, à medida que a descoberta orientada por IA cresce, adotar o Markdown para Agents possibilita que sites forneçam de forma eficiente conteúdo estruturado e conciso diretamente para a IA, reduzindo o processamento, respeitando a intenção do criador e preparando o caminho para o futuro da interação na web.