Måten innhold og bedrifter oppdages på nettet på, utvikler seg raskt. Tidligere kom trafikken hovedsakelig fra tradisjonelle søkemotorer, hvor SEO bestemte synligheten. Nå drives økende trafikk av AI-søkere og -agenter som krever strukturert data fra den i utgangspunktet ustrukturerte, menneskeorienterte websiden. For å holde seg i front må bedrifter revurdere ikke bare menneskelige besøkende eller tradisjonell SEO, men også behandle AI-agenter som første-klasses brukere. Å sende rå HTML til AI er ineffektivt—HTML er langtrukkent og token-tungt sammenlignet med markdown. For eksempel koster en enkel "Om oss"-seksjon omtrent 3 tokens i markdown, men 12–15 tokens i HTML, utenom ikke-semantiske elementer som div-omslag og skript som øker tokenbruken uten å tilføre mening. Dette blogginnlegget, når det måles i tokens, bruker 16. 180 tokens i HTML, men bare 3. 150 tokens i markdown—en reduksjon på 80 %. Markdown har blitt det foretrukne formatet for AI-systemer på grunn av sin eksplisitte struktur, som støtter bedre AI-prosessering og reduserer svinn av tokens. Siden internett hovedsakelig består av HTML og sidestørrelser har økt, må AI-agenter filtrere ut unødvendige deler for å få tilgang til relevant innhold.

Å konvertere HTML til markdown i AI-arbeidsflyter er vanlig, men ikke perfekt: det legger til beregningskostnader, kompleksitet og kan ikke alltid reflektere skapernes intensjon. Cloudflare tilbyr nå en innovativ løsning ved å utføre sanntids HTML-til-markdown konvertering ved kilden for nettsteder på deres nettverk med Markdown for Agents aktivert. AI-systemer kan be om markdown-versjoner av sider via Accept-headers, hvor de spesifiserer "text/markdown. " Cloudflare henter original HTML og konverterer det automatisk til markdown i sanntid, og leverer et strømlinjeformet, AI-optimert svar. For eksempel henter en curl-forespørsel med headeren “Accept: text/markdown” markdown-innhold fra Cloudflare’s utviklerside. AI-utviklere som bruker Cloudflare Workers kan på tilsvarende måte angi dette headeret i TypeScript fetch-forespørsler. Populære kodingsagenter som Claude Code og OpenCode benytter allerede denne metoden, og mottar markdown-svar som gjør det enklere å analysere og forbedrer token-virksomheten. Svarene inkluderer også en x-markdown-tokens-header, som anslår antall tokens og hjelper AI-systemer med å optimalisere kontekstvindu og oppdeling av innhold. Markdown for Agents integreres med Cloudflare’s Content Signals-rammeverk, introdusert under Fødselsdagsuken, som gir innholdsskapere kontroll over AI-brukstillatelser. Svartene inkluderer headers som Content-Signal: ai-train=yes, search=yes, ai-input=yes, som signaliserer samtykke til AI-trening, søkeindeks og agentisk bruk, med muligheter for fremtidige egendefinerte policyer. Cloudflare har aktivert denne funksjonen i sin Developer Documentation og Blog for å oppfordre AI-søkere til å bruke markdown istedenfor HTML, noe som forbedrer effektivitet og semantikk. For AI-systemer som trenger dokumentkonvertering utenfor Cloudflare eller når Markdown for Agents ikke er tilgjengelig, tilbyr Cloudflare alternative løsninger: - Workers AI’s AI. toMarkdown() støtter flere dokumenttyper og oppsummering. - Browsers rendering med /markdown REST API konverterer dynamiske sider etter rendering. Cloudflare Radar følger nå med på AI-bot og crawler-forespørsler av innholdstype globalt og per agent, inkludert statistikk for markdown-henting, slik som fra OpenAI’s OAI-Searchbot som driver ChatGPTs søk. Disse dataene hjelper med å overvåke trender i AI-innholdsbruk og er fritt tilgjengelige via offentlige API-er og Data Explorer. For å aktivere Markdown for Agents i Cloudflare kan brukere veksle denne funksjonen i dashbordet for sin sone. Funksjonen er foreløpig i Beta, uten ekstra kostnad for Pro-, Business-, Enterprise-planer og SSL for SaaS-kunder. Oppsummert: Etter hvert som AI-drevet oppdagelse øker, gjør bruk av Markdown for Agents det mulig for nettsteder å effektivt levere strukturert, konsist innhold direkte til AI, redusere prosesseringskostnader, respektere skapernes intensjoner og forberede seg på fremtidens webinteraksjon.