Spôsob, akým sa online objavujú obsah a podniky, sa rýchlo mení. Predtým bol hlavný zdroj návštevnosti z tradičných vyhľadávačov, pričom SEO určovalo viditeľnosť. Teraz ide o zvýšenie návštevnosti prostredníctvom AI crawlerov a agentov, ktorí vyžadujú štruktúrované dáta z povahy neštruktúrovaného webu zameraného na človeka. Aby firmy zostali vpredu, musia prehodnotiť nielen ľudských návštevníkov či tradičné SEO, ale aj brať AI agentov ako plnohodnotných používateľov. Poskytnutie surového HTML AI je neefektívne—HTML je zdĺhavé a obsahuje veľa tokenov v porovnaní s markdownom. Napríklad jednoduchá sekcia "O nás" stojí v markdownu približne 3 tokeny, zatiaľ čo v HTML 12–15 tokenov, okrem neštruktúrovaných prvkov ako div kontajnery a skripty, ktoré zvyšujú počet tokenov bez pridaného významu. Tento blog príspevok, meraný v tokenoch, využíva 16 180 tokenov v HTML, zatiaľ čo len 3 150 tokenov v markdownu—čo je zníženie o 80 %. Markdown sa stal preferovaným formátom pre AI systémy vďaka svojej explicitnej štruktúre, ktorá umožňuje lepšie spracovanie AI a znižuje plytvanie tokenmi. Pretože však web je predovšetkým tvorené HTML a veľkosti stránok narastajú, musia AI agenti filtrovať zbytočné časti, aby získali relevantný obsah.

Konverzia HTML na markdown v AI pracovných postupoch je bežná, ale nedokonalá: pridáva výpočtové zaťaženie, náklady, komplexnosť a nemusí odrážať úmysel tvorcu. Cloudflare teraz ponúka inovatívne riešenie – vykonáva konverziu HTML na markdown v reálnom čase priamo na zdroji pre weby v jeho sieti, kde je povolené Markdown pre Agentov. AI systémy môžu vyžadovať markdown verzie stránok cez hlavičku Accept, kde špecifikujú "text/markdown. " Cloudflare najskôr stiahne pôvodný HTML a automaticky ho prevedie na markdown za behu, čím poskytne efektívnejšiu a optimalizovanú odpoveď pre AI. Napríklad, požiadavka curl so záhlavím “Accept: text/markdown” načíta markdown obsah z dokumentácie vývojára Cloudflare. Vývojári AI využívajúci Cloudflare Workers môžu podobne špecifikovať túto hlavičku v fetch volaniach v TypeScripte. Populárne agentové nástroje ako Claude Code alebo OpenCode už používajú tento spôsob, pričom prijímajú markdown odpovede, ktoré zjednodušujú parseovanie a zlepšujú efektivitu tokenov. Odpovede obsahujú tiež hlavičku x-markdown-tokens, ktorá odhaduje počet tokenov, čím pomáha AI systémom optimalizovať kontextové okná a stratégie delenia textu. Markdown pre Agentov sa integruje s Cloudflare Content Signals, predstaveným počas Bday Week, čo umožňuje tvorcom obsahu kontrolu nad povolením použitia AI. Odpovede obsahujú hlavičky ako Content-Signal: ai-train=yes, search=yes, ai-input=yes, čo signalizuje súhlas s trénovaním AI, indexovaním vyhľadávania a využitím agentami, s možnosťou nastavenia vlastných pravidiel v budúcnosti. Cloudflare túto funkciu aktivoval vo svojej dokumentácii pre vývojárov a na blogu, čím povzbudzuje AI crawlerov, aby si osvojili markdown namiesto HTML, čím zlepšuje efektivitu a sémantiku. Pre AI systémy, ktoré potrebujú konverziu dokumentov mimo Cloudflare alebo ak Markdown pre Agentov nie je dostupný, ponúka Cloudflare alternatívy: - AI. toMarkdown() v Workers podporuje viac typov dokumentov a sumarizácie. - Rendering v prehliadači cez REST API /markdown konvertuje dynamické stránky po vykreslení. Cloudflare Radar aktuálne sleduje požiadavky AI botov a crawlerov na typ obsahu globálne a podľa agentov, vrátane štatistík o získavaní markdownu, ako napríklad od OAI-Searchbot od OpenAI poháňajúci ChatGPT vyhľadávanie. Tieto údaje pomáhajú monitorovať trendy v konzumácii AI obsahu a sú voľne dostupné cez verejné API a Data Explorer. Na povolenie Markdown pre Agentov môžu používatelia zapnúť túto funkciu v paneli Cloudflare pre svoju zónu. Momentálne je vo verzii Beta a zadarmo pre plány Pro, Business, Enterprise a klientov SaaS s SSL. V závere, s rastúcim využívaním AI pri objavovaní obsahu je adopcia Markdown pre Agentov kľúčová pre efektívne poskytovanie štruktúrovaného, stručného obsahu priamo AI, čím sa znižuje zaťaženie spracovania, rešpektuje zámer tvorcov a pripravuje na budúcnosť webovej interakcie.