Hållet för innehåll och företag som upptäcks online utvecklas snabbt. Tidigare kom trafik främst från traditionella sökmotorer, där SEO avgjorde synligheten. Nu drivs ökande trafik av AI-crawlers och agenter som kräver strukturerad data från webben, som i sig är oorganiserad och mänskligt fokuserad. För att ligga i fas måste företag omvärdera inte bara mänskliga besökare och traditionell SEO, utan även behandla AI-agenter som förstklassiga användare. Att mata rå HTML till AI är ineffektivt—HTML är talspråksrikt och mycket tokens-tungt jämfört med markdown. Till exempel kostar en enkel "Om oss"-avsnitt ungefär 3 tokens i markdown, men 12–15 tokens i HTML, exklusive icke-semantiska element som div-wrapper och skript som ökar tokens-mängden utan att tillföra betydelse. Den här blogginlägget, mätt i tokens, använder 16 180 tokens i HTML men endast 3 150 tokens i markdown—en minskning med 80 %. Markdown har blivit det föredragna formatet för AI-system tack vare sin tydliga struktur, som stöder bättre AI-behandling och minskar tokens-slöseri. Eftersom webben till största delen består av HTML och sidstorlekarna vuxit har AI-agenter behövt filtrera bort överflödiga delar för att få tillgång till relevant innehåll. Att konvertera HTML till markdown i AI-arbetsflöden är vanligt, men inte perfekt: det tillför beräkningskostnad, komplexitet och kanske inte speglar skaparen avsikt. Cloudflare erbjuder nu en innovativ lösning genom att utföra realtidskonvertering från HTML till markdown direkt vid källan för webbplatser i deras nätverk som har Markdown for Agents aktiverat.

AI-system kan begära markdown-versioner av sidor via Accept-innehållsnegotiering, med "text/markdown" specificerat. Cloudflare hämtar original-HTML och konverterar automatiskt till markdown i realtid, vilket ger ett strömlinjeformat, AI-optimalt svar. Till exempel, en curl-fråga med headern "Accept: text/markdown" hämtar markdown-innehåll från Cloudflares utvecklardokumentation. AI-utvecklare som använder Cloudflare Workers kan på liknande sätt specificera detta i fetch-anrop i TypeScript. Populära kodagenter som Claude Code och OpenCode använder redan detta tillvägagångssätt och får markdown-svar som förenklar parsering och förbättrar tokens-effektiviteten. Svar inkluderar också en header x-markdown-tokens, som uppskattar antal tokens och hjälper AI-system att optimera sammanhang och chunking-strategier. Markdown för Agenter integrerar med Cloudflares Content Signals-ramverk, som introducerades under Birthday Week, vilket gör att innehållsskapare kan styra AI-användningsbehörigheter. Svar innehåller headers som Content-Signal: ai-train=yes, search=yes, ai-input=yes, som signalerar samtycke till AI-träning, sökindexering och agentisk användning, och möjligheter till framtida anpassade regler. Cloudflare har aktiverat denna funktion i sin utvecklardokumentation och blogg, och uppmuntrar AI-crawlers att konsumera markdown istället för HTML, för att förbättra effektiviteten och semantiken. För AI-system som behöver dokumentkonvertering utanför Cloudflare eller när Markdown for Agents inte är tillgängligt erbjuder Cloudflare alternativa lösningar: - Workers AI’s AI. toMarkdown() som stödjer flera dokumenttyper och sammanfattningar. - Rendra webbsidor med /markdown REST API för att konvertera dynamiska sidor efter rendering. Cloudflare Radar övervakar nu globala och agent-specifika AI-bots och crawlers innehållstyp-förfrågningar, inklusive statistik över hämtning av markdown, som från OpenAI:s OAI-Searchbot som driver ChatGPT:s sökning. Denna data hjälper till att följa trender i AI-innehållskonsumtion och är fritt tillgänglig via offentliga API:er och Data Explorer. För att aktivera Markdown för Agenter kan användare slå på funktionen i Cloudflares kontrollpanel för sin zon. Funktionen är för närvarande i Beta, kostnadsfri för Pro-, Business- och Enterprise-abonnemang samt SSL för SaaS-kunder. Sammanfattningsvis, i takt med att AI-driven upptäckt ökar, möjliggör användningen av Markdown för Agenter att webbplatser kan leverera strukturerat, koncist innehåll direkt till AI, minska processeringskostnader, respektera skaparnas avsikter och förbereda för framtidens webbsamspel.