Način na koji se sadržaj i tvrtke otkrivaju putem interneta brzo se mijenja. Ranije je promet uglavnom dolazio s tradicionalnih tražilica, a SEO je određivao vidljivost. Sada, povećani promet uglavnom pokreću AI paukovi i agenti koji zahtijevaju strukturirane podatke s Weba, koji je u biti nestrukturiran i fokusiran na čovjeka. Kako bi ostali ispred konkurencije, tvrtke moraju preispitati ne samo ljudske posjetitelje ili tradicionalni SEO, već i tretirati AI agente kao ravnopravne korisnike. Slanje sirovog HTML-a AI-ju nije učinkovito—HTML je opširan i pun tokena u usporedbi s markdownom. Na primjer, jednostavna sekcija „O nama“ košta otprilike 3 tokena u markdownu, ali 12–15 tokena u HTML-u, isključujući nestrukovne elemente poput div okvira i skripti koji povećavaju broj tokena bez dodavanja značenja. Ovaj blog post, kad ga se mjeri u tokenima, koristi 16. 180 tokena u HTML-u, ali samo 3. 150 u markdownu—što je smanjenje od 80%. Markdown je postao preferirani format za AI sustave zbog svoje jasne strukture, koja podržava bolje procesiranje od strane AI-ja i smanjuje nepotrebno trošenje tokena. Međutim, budući da je Web uglavnom sastavljen od HTML-a i veličina stranica je porasla, AI agenti moraju filtrirati suvišne dijelove da bi pristupili relevantnim sadržajima.

Pretvaranje HTML-a u markdown u AI radnim tokovima je često, ali nije savršeno: dodaje računalnu složenost, trošak, komplicira procese i možda ne odražava namjeru tvorca. Cloudflare sada nudi inovativno rješenje koje vrši konverziju HTML-u u markdown u stvarnom vremenu, izravno na izvoru za web stranice na njihovoj mreži koje imaju omogućenu Markdown za Agente. AI sustavi mogu zatražiti verzije stranica u markdownu putem zaglavlja Accept za pregovaranje sadržaja, specificirajući „text/markdown. “ Cloudflare dohvaća originalni HTML i automatski pretvara ga u markdown u hodu, pružajući optimizirani odgovor spreman za AI. Na primjer, curl zahtjev s zaglavljem “Accept: text/markdown” dohvaća markdown sadržaj iz Cloudflareove dokumentacije za developere. Programeri AI-ja koji koriste Cloudflare Workers mogu isto tako specificirati ovo zaglavlje u fetch pozivima u TypeScriptu. Popularni agenti za kodiranje kao što su Claude Code i OpenCode već koriste ovaj pristup, dobivajući markdown odgovore koji olakšavaju parsiranje i štede tokena. Odgovori također uključuju header x-markdown-tokens, koji procjenjuju broj tokena, pomažući AI sustavima u optimizaciji konteksta i strategija segmentacije. Markdown za Agente integriran je s Cloudflareovim Content Signals sustavom, uvedenim tijekom Birthday Weeka, koji omogućava kreatorima sadržaja da kontroliraju dopuštenja za korištenje od strane AI-ja. Odgovori sadrže zaglavlja poput Content-Signal: ai-train=yes, search=yes, ai-input=yes, što signalizira pristanak za treniranje AI-ja, indeksiranje kroz pretraživače i korištenje od strane agenata, s mogućnošću dodavanja budućih prilagođenih politika. Cloudflare je omogućio ovu značajku u svojoj Dokumentaciji za developere i Blogu, potičući AI paukove da konzumiraju markdown umjesto HTML-a, čime se poboljšava učinkovitost i semantika. Za AI sustave kojima je potrebno pretvaranje dokumenata izvan Cloudflare ili kada Markdown za Agente nije dostupan, Cloudflare nudi alternative: - Workers AI’s AI. toMarkdown() podržava različite tipove dokumenata i sažimanje. - Konverzija dinamičkih stranica nakon renderiranja putem REST API-ja /markdown. Cloudflare Radar sada prati zahtjeve za sadržajem tipa AI botova i paukova globalno i po agentima, uključujući statistike o dohvaćanju markdown-a, poput onih od OpenAI-evog OAI-Searchbota koji pokreće ChatGPT-ovo pretraživanje. Te je podatke lako dostupno putem javnih API-ja i Data Explorer-a, što pomaže u praćenju trendova u konzumaciji AI sadržaja. Za omogućavanje Markdown za Agente, korisnici mogu aktivirati ovu opciju u svom Cloudflare nadzornom panelu za svoju zonu. Trenutno je u Beta verziji i besplatno dostupno za Pro, Business, Enterprise planove te SSL za SaaS korisnike. Ukratko, kako se AI-jem vođeno otkrivanje sadržaja povećava, usvajanje Markdown za Agente omogućava web stranicama da efikasno serviraju strukturirani, sažeti sadržaj direktno AI-ju, smanjujući opterećenje obrade, poštujući namjeru kreatora i pripremajući web za budućnost interakcije.