Måden, indhold og virksomheder opdages online, udvikler sig hurtigt. Tidligere kom trafikken hovedsageligt fra traditionelle søgemaskiner, hvor SEO afgør synligheden. Nu bliver øget trafik drevet af AI-crawlers og -agenter, der kræver struktureret data fra det grundlæggende ustrukturerede, menneskecentrerede web. For at følge med skal virksomheder genoverveje ikke kun menneskelige besøgende eller traditionel SEO, men også behandle AI-agenter som førsteklasses brugere. At fodre rå HTML til AI er ineffektivt—HTML er fyldigt og token-tungt i forhold til markdown. For eksempel koster en enkel "Om Os" sektion cirka 3 tokens i markdown, men 12–15 tokens i HTML, eksklusive non-semantiske elementer som div-wrapper og scripts, der øger token-forbruget uden at tilføje mening. Dette blogindlæg bruger, målt i tokens, 16. 180 tokens i HTML, men kun 3. 150 tokens i markdown—en reduktion på 80%. Markdown er blevet det foretrukne format for AI-systemer på grund af dets eksplicitte struktur, som understøtter bedre AI-behandling og reducerer spild af tokens. Men eftersom websiden primært består af HTML, og sideindholdet er blevet større, skal AI-agenter filtrere unødvendige dele væk for at få adgang til relevant indhold.

At konvertere HTML til markdown i AI-arbejdsgange er almindeligt, men ikke perfekt: det tilføjer beregningsmæssig overhead, omkostninger, kompleksitet og kan afvige fra skaberens intention. Cloudflare tilbyder nu en innovativ løsning ved at udføre real-time HTML-til-markdown konvertering direkte fra kilden for sites på deres netværk, der har Markdown for Agents aktiveret. AI-systemer kan anmode om markdown-versioner af sider via Accept-indholdshovedet, hvor de angiver "text/markdown. " Cloudflare henter den originale HTML og konverterer den automatisk til markdown i realtid, og leverer et optimeret, AI-venligt svar. For eksempel henter en curl-forespørgsel med headeren “Accept: text/markdown” markdown-indhold fra Cloudfakes udviklerdokumentation. AI-udviklere, der bruger Cloudflare Workers, kan tilsvarende specificere dette header i TypeScript fetch-kald. Populære kodningsagenter som Claude Code og OpenCode bruger allerede denne metode, og får markdown-responser, der gør parsing lettere og forbedrer tokens effektiviteten. Svarene inkluderer også en x-markdown-tokens header, som estimerer token-antallet, hvilket hjælper AI-systemer med at optimere kontekstvinduer og chunking-strategier. Markdown for Agents integreres med Cloudflares Content Signals-ramme, introduceret under Birthday Week, som giver indholdsskabere kontrol over AI-brugs-tilladelser. Svar indeholder overskrifter som Content-Signal: ai-train=yes, search=yes, ai-input=yes, der signalerer samtykke til AI-træning, søgeindeksering og agentbaseret brug, med mulighed for tilpasning i fremtiden. Cloudflare har aktiveret denne funktion i deres udviklerdokumentation og blog, for at tilskynde AI-crawlers til at bruge markdown frem for HTML, hvilket forbedrer effektivitet og semantik. For AI-systemer, der behøver dokumentkonvertering uden for Cloudflare, eller når Markdown for Agents ikke er tilgængeligt, tilbyder Cloudflare alternative løsninger: - Workers AI’s AI. toMarkdown() understøtter flere dokuments typer og opsummeringer. - Browser Rendering med /markdown REST API konverterer dynamiske sider efter rendering. Cloudflare Radar overvåger nu AI-bot- og crawler-indholdstyper globalt og per agent, herunder statistik over markdown-forespørgsler, som dem fra OpenAI’s OAI-Searchbot, der driver ChatGPTs søgning. Disse data hjælper med at overvåge tendenser i AI-indholdskonsumtion og er frit tilgængelige via offentlige API’er og Data Explorer. For at aktivere Markdown for Agents kan brugere tænde for funktionen i Cloudflares dashboard for deres zone. Funktionen er i øjeblikket i beta uden omkostninger for Pro-, Business-, Enterprise-planer og SSL for SaaS-kunder. Kort sagt, som AI-drevet opdagelse vokser, giver adoptionen af Markdown for Agents hjemmesider mulighed for effektivt at formidle struktureret, kortfattet indhold direkte til AI, hvilket mindsker behandlingsomkostninger, respekterer skaberens intentioner og forbereder os på fremtidens webinteraktion.