Az online tartalom és vállalkozások felfedezése gyorsan változik. Korábban a forgalom főként a hagyományos keresőmotorokból származott, az SEO határozta meg a láthatóságot. Most már egyre inkább az AI mászórobotok és ügynökök hajtják a forgalmat, akik struktúrált adatokat igényelnek az eredendően rendezetlen, emberközpontú Weben. Hogy előnyt szerezzenek, a vállalkozásoknak nemcsak az emberi látogatókat vagy a hagyományos SEO-t kell újraértékelniük, hanem az AI ügynököket is elsőrendű felhasználóknak kell tekinteniük. A nyers HTML AI-nak való átadása nem hatékony—az HTML bőbeszédű és token-igényes a markdownhoz képest. Például egy egyszerű „Rólunk” szekció kb. 3 tokent tesz ki markdownban, de 12–15 tokent HTML-ben, nem számítva a nem szemantikus elemeket, például a div-wrappeket és szkripteket, amelyek feleslegesen növelik a tokenek számát anélkül, hogy új értéket adnának. Ez a blogbejegyzés, tokenek mérésével, HTML-ben 16 180 tokent használ, míg markdownban csak 3 150-et—ez 80%-os csökkenést jelent. A markdown az AI rendszerek számára kedvelt formátummá vált az egyértelmű szerkezet miatt, ami támogatja a jobb AI feldolgozást és minimalizálja a token pazarlást. Ugyanakkor mivel a Web elsősorban HTML-ből áll, és a oldalméretek növekedtek, az AI ügynököknek ki kell szűrniük a felesleges részeket, hogy elérjék a releváns tartalmat.

Az HTML átalakítása markdown formátumra az AI munkafolyamatokban gyakori, de nem tökéletes megoldás: megnöveli a számítási terhelést, költséget, bonyolítja a folyamatokat, és nem mindig tükrözi a tartalom készítőjének szándékát. A Cloudflare most egy innovatív megoldást kínál azzal, hogy valós idejű HTML-to-markdown átalakítást végez közvetlenül a forráson, azoknak a webhelyeknek az esetében, amelyek Markdown for Agents van engedélyezve a hálózatán. Az AI rendszerek kérhetik a markdown verziókat a tartalom "Accept" fejléces kéréseivel, megjelölve a "text/markdown" típusú tartalmat. A Cloudflare lekéri az eredeti HTML-t, és automatikusan átalakítja markdown formátumba, így egy letisztult, AI-optimalizált választ szolgáltatva. Például a curl kérés a "Accept: text/markdown" fejléccel markdown tartalmat kér a Cloudflare fejlesztői dokumentációjából. Az AI fejlesztők a Cloudflare Workers használatával szintén megadhatják ezt a fejlécet a fetch hívásokban TypeScript-ben. Népszerű kódoló ügynökök, mint például a Claude Code és az OpenCode, már alkalmazzák ezt a módszert, markdown válaszokat fogadva, amelyek megkönnyítik a feldolgozást és javítják a token-hatékonyságot. A válaszok továbbá tartalmaznak egy "x-markdown-tokens" fejlécet is, amely becsült token-számot mutat, segítve az AI rendszereket a kontextus ablakainak és a feldarabolási stratégiák optimalizálásában. A Markdown for Agents integrálva van a Cloudflare Content Signals keretrendszerével, amit a Születésnapi Hét során mutattak be, lehetővé téve a tartalomkészítők számára, hogy irányítsák az AI használatára vonatkozó engedélyeket. A válaszok tartalmazhatnak olyan fejléceket, mint például Content-Signal: ai-train=yes, search=yes, ai-input=yes, jelezve az AI tréninghez, keresőindexeléshez és ügynöki felhasználáshoz való hozzájárulást, valamint lehetőséget a jövőbeni egyedi szabályokra. A Cloudflare ezen funkciót bevezette a fejlesztői dokumentációjában és blogjában is, ösztönözve az AI mászórobotokat, hogy markdown helyett HTML helyett a strukturált, hatékony formátumot használják, javítva a hatékonyságot és a szemantikai minőséget. Olyan AI rendszerek számára, amelyeknek dokumentumkonverzióra van szükségük a Cloudflare-on kívül, vagy ahol a Markdown for Agents nem elérhető, a Cloudflare alternatív megoldásokat kínál: - Workers AI’s AI. toMarkdown() támogat több dokumentumtípust és összegzést. - A böngésző alapú Renderelés a /markdown REST API-val dinamikus oldalakat alakít át renderelés után. A Cloudflare Radar már nyomon követi az AI botok és mászórobotok kérés típusát globálisan és specifikus ügynök szerint is, beleértve a markdown lekérdezési statisztikákat, például az OpenAI OAI-Searchbot által működtetett ChatGPT keresési adatait. Ezek az adatok segítenek követni az AI tartalomfogyasztásának trendjeit, és ingyenesen elérhetők nyilvános API-kon és a Data Explorerben. A Markdown for Agents funkció aktiválásához a felhasználók kapcsolhatják be a Cloudflare irányítópultján a saját zónájukban. Ez a funkció jelenleg béta státuszban, díjmentesen elérhető Pro, Business, Enterprise csomagokban, valamint SSL-t biztosító SaaS ügyfeleknél. Összefoglalva, ahogy növekszik az AI-alapú felfedezés, a Markdown alkalmazása az ügynökök számára lehetővé teszi a weboldalak számára, hogy hatékonyan szolgálják ki az AI-nek strukturált, tömör tartalom formájában, csökkentve a feldolgozási költségeket, tiszteletben tartva a tartalomkészítők szándékát, és felkészülve a web jövőbeni interakcióira.