在线上内容和企业的发现方式正迅速演变。过去，流量主要来自传统搜索引擎，SEO决定了可见性。而现在，越来越多的流量由AI爬虫和代理驱动，这些需要从本质上非结构化、以人为中心的网络中提取结构化数据。 为了保持领先，企业不仅需要重新考虑对人类访客和传统SEO的优化，还应将AI代理视为一等用户。向AI提供原始HTML是不高效的——HTML比Markdown笨重且使用大量Token。例如，一个简单的“关于我们”部分，用Markdown编码大约耗费3个Token，而HTML则耗费12到15个Token（不包括无语义的元素如div包裹和脚本，这些会增加Token数量但不增加实际意义）。本博文的HTML版本占用16, 180个Token，而Markdown版本只需3, 150个Token，减少了80%。 由于其明确的结构，Markdown已成为AI系统的首选格式，这支持更优的AI处理并减少Token浪费。然而，由于网页主要由HTML组成，且网页尺寸不断增加，AI代理必须过滤出多余部分以获取相关内容。将HTML转换为Markdown在AI工作流程中虽常见但并不完美：它增加了计算负担、成本和复杂性，也可能偏离内容创作者的意图。 Cloudflare现提供了一项创新解决方案，即在源头实时将HTML转为Markdown，适用于开启“Markdown for Agents”功能的网络站点。AI系统可以通过请求中的Accept内容协商头，指定“text/markdown”，以获取Markdown版本的页面。Cloudflare会获取原始HTML并自动在线转换成Markdown，提供简洁且优化给AI的响应。 例如，通过带有“Accept: text/markdown”请求头的curl请求，可以从Cloudflare的开发者文档中获取Markdown内容。使用Cloudflare Workers的AI开发者也可以在TypeScript的fetch调用中指定此头。像Claude Code和OpenCode这样的流行代理已采用这种方式，收到的Markdown响应简化了解析，也提升了Token效率。 响应中还包含x-markdown-tokens头，用以估算Token数量，帮助AI系统优化上下文窗口和分块策略。 针对AI代理，Markdown for Agents集成了Cloudflare在“生日周”推出的内容信号（Content Signals）框架，允许内容创作者控制AI的使用权限。响应中会包含如Content-Signal: ai-train=yes、search=yes、ai-input=yes的头部，表示同意用于AI训练、搜索索引和代理应用，还可未来支持自定义策略。 Cloudflare已在其开发者文档和博客中启用此功能，鼓励AI爬虫优先采集Markdown内容，以提升效率和语义表达。 对于不在Cloudflare平台上进行文档转换、或无法使用Markdown for Agents的情形，Cloudflare还提供其他方案： - Workers AI的AI. toMarkdown()支持多种文档类型和摘要功能； - 使用“/markdown”REST API的浏览器渲染功能，能在渲染后转换动态页面。 Cloudflare Radar现已追踪全球范围内及每个代理的AI爬虫请求内容类型，包括Markdown获取统计，如OpenAI的OAI-Searchbot用于ChatGPT搜索的情况。这些数据有助于监控AI内容消费的趋势，并通过公共API和数据探索工具免费提供。 用户可以在Cloudflare仪表盘中为其区域开启Markdown for Agents功能。此功能目前为Beta版，对于Pro、Business、Enterprise计划及SaaS客户提供免费使用。 总之，随着AI驱动的内容发现不断发展，采用Markdown for Agents能帮助网站高效地直接向AI提供结构化、简洁的内容，降低处理成本，尊重创作者意图，并为未来的网页交互方式做好准备。