La manière dont le contenu et les entreprises sont découverts en ligne évolue rapidement. Auparavant, le trafic provenait principalement des moteurs de recherche traditionnels, avec le référencement naturel déterminant la visibilité. Désormais, une partie croissante du trafic est générée par des robots et agents basés sur l’IA qui nécessitent des données structurées provenant d’un Web intrinsèquement non structuré et centré sur l’humain. Pour rester en tête, les entreprises doivent repenser non seulement l’expérience des visiteurs humains ou le SEO classique, mais aussi traiter les agents IA comme des utilisateurs de premier ordre. Fournir du HTML brut à l’IA est inefficace — le HTML étant verbeux et coûteux en tokens comparé au markdown. Par exemple, une simple section "À propos de nous" coûte environ 3 tokens en markdown, contre 12 à 15 tokens en HTML, sans compter les éléments non sémantiques comme les divs et scripts qui augmentent le nombre de tokens sans ajouter de sens. Ce billet de blog, par exemple, utilise 16 180 tokens en HTML, mais seulement 3 150 tokens en markdown — une réduction de 80 %. Le markdown est devenu le format privilégié pour les systèmes d’IA grâce à sa structure explicite, favorisant un meilleur traitement par l’IA et réduisant le gaspillage de tokens. Cependant, puisque le Web est principalement composé de HTML et que la taille des pages a augmenté, les agents IA doivent filtrer les parties superflues pour accéder au contenu pertinent. La conversion de HTML en markdown dans les workflows IA est courante mais imparfaite : elle exige des ressources informatiques, engendre des coûts, complique le processus et peut ne pas refléter l’intention du créateur. Cloudflare propose désormais une solution innovante en effectuant une conversion en temps réel de HTML en markdown à la source pour les sites de son réseau disposant de Markdown for Agents activé.

Les systèmes d’IA peuvent demander des versions markdown des pages via l’en-tête de négociation de contenu Accept, en indiquant "text/markdown". Cloudflare récupère le HTML original et le convertit automatiquement en markdown à la volée, fournissant une réponse optimisée pour l’IA. Par exemple, une requête curl avec l’en-tête “Accept: text/markdown” récupère le contenu markdown de la documentation développeur de Cloudflare. Les développeurs d’IA utilisant Cloudflare Workers peuvent également spécifier cet en-tête dans leurs appels Fetch en TypeScript. Des agents de codage populaires comme Claude Code et OpenCode utilisent déjà cette méthode, recevant des réponses en markdown qui facilitent l’analyse et améliorent l’efficacité en tokens. Les réponses incluent aussi un en-tête x-markdown-tokens, qui estime le nombre de tokens, aidant les systèmes d’IA à optimiser leur fenêtre de contexte et leur découpage en segments. Markdown pour Agents s’intègre avec le cadre Content Signals de Cloudflare, présenté lors de la Birthday Week, permettant aux créateurs de contenu de contrôler les permissions d’utilisation par l’IA. Les réponses comportent des en-têtes comme Content-Signal : ai-train=yes, search=yes, ai-input=yes, indiquant le consentement pour l’entraînement de l’IA, l’indexation dans les moteurs de recherche et l’usage par des agents, avec des options pour de futures politiques personnalisées. Cloudflare a activé cette fonctionnalité dans sa Documentation Développeur et son Blog, encourageant les robots IA à consommer du markdown plutôt que du HTML, afin d’améliorer l’efficacité et la sémantique. Pour les systèmes d’IA ayant besoin de convertir des documents en dehors de Cloudflare ou lorsque Markdown for Agents n’est pas disponible, Cloudflare propose d’autres solutions : - AI. toMarkdown() via Workers supporte différents types de documents et la synthèse. - La conversion via l’API REST /markdown pour le rendu des pages dynamiques après leur affichage. Cloudflare Radar suit désormais les requêtes des bots IA et des crawlers selon le type de contenu dans le monde entier et par agent, incluant les statistiques de récupération en markdown, comme celles de l’OAI-Searchbot d’OpenAI qui alimente la recherche de ChatGPT. Ces données aident à suivre les tendances de consommation de contenu par l’IA et sont accessibles gratuitement via des API publiques et le Data Explorer. Pour activer Markdown pour Agents, les utilisateurs peuvent activer cette option dans le tableau de bord Cloudflare pour leur zone. La fonctionnalité est actuellement en version bêta, sans coût supplémentaire, pour les plans Pro, Business, Enterprise et les clients SaaS avec SSL. En résumé, face à l’augmentation de la découverte pilotée par l’IA, l’adoption du markdown pour les agents permet aux sites de fournir efficacement un contenu structuré et concis directement à l’IA, en réduisant la charge de traitement, en respectant la volonté des créateurs, et en se préparant à l’avenir de l’interaction Web.