Die Art und Weise, wie Inhalte und Unternehmen online entdeckt werden, entwickelt sich rasant. Früher stammte der Verkehr hauptsächlich von traditionellen Suchmaschinen, wobei SEO die Sichtbarkeit bestimmte. Heute wird zunehmender Traffic von KI-Crawlern und -Agenten generiert, die strukturierte Daten vom im Grunde unstrukturierten, menschenorientierten Web benötigen. Um voraus zu sein, müssen Unternehmen nicht nur das menschliche Publikum oder traditionelle SEO überdenken, sondern auch KI-Agenten als gleichberechtigte Nutzer behandeln. Raw-HTML-Daten an KI zu liefern, ist ineffizient—HTML ist wortreich und token-intensiv im Vergleich zu Markdown. Ein einfacher "Über uns"-Bereich kostet in Markdown etwa 3 Tokens, in HTML jedoch 12–15 Tokens, ohne nicht-sinnvolle Elemente wie Div-Wrapper oder Scripts, die den Token-Verbrauch erhöhen, ohne Bedeutung hinzuzufügen. Dieser Blogbeitrag verwendet, gemessen in Tokens, 16. 180 Tokens in HTML, aber nur 3. 150 Tokens in Markdown—eine Reduktion um 80%. Markdown hat sich zum bevorzugten Format für KI-Systeme entwickelt, da seine explizite Struktur eine bessere Verarbeitung durch KI ermöglicht und Token-Verschwendung reduziert. Da das Web jedoch hauptsächlich aus HTML besteht und die Seitengrößen gewachsen sind, müssen KI-Agenten unnötige Teile herausfiltern, um die relevanten Inhalte zu erreichen. Die Umwandlung von HTML in Markdown ist in KI-Workflows üblich, aber unvollkommen: Sie erhöht den Rechenaufwand, die Kosten, die Komplexität und spiegelt möglicherweise nicht die Intention des Erstellers wider. Cloudflare bietet nun eine innovative Lösung, indem es die Echtzeit-Konvertierung von HTML zu Markdown direkt an der Quelle für Websites in seinem Netzwerk mit aktiviertem Markdown für Agents durchführt.

KI-Systeme können über den Accept-Content-Negotiation-Header um die Markdown-Versionen von Seiten bitten und "text/markdown" angeben. Cloudflare holt das original HTML ab und wandelt es automatisch in Markdown um, sodass eine optimierte, KI-freundliche Antwort geliefert wird. Zum Beispiel holt eine curl-Anfrage mit dem Header „Accept: text/markdown“ Markdown-Inhalte aus der Entwicklerdokumentation von Cloudflare. KI-Entwickler, die Cloudflare Workers verwenden, können diesen Header ebenfalls in TypeScript-fetch-Requests angeben. Beliebte Code-Agenten wie Claude Code und OpenCode nutzen bereits dieses Verfahren und erhalten Markdown-Antworten, die das Parsen vereinfachen und die Token-Effizienz verbessern. Antworten enthalten außerdem einen Header x-markdown-tokens, der die geschätzte Token-Anzahl anzeigt und KI-Systemen bei der Optimierung von Kontextfenstern und Chunking-Strategien hilft. Markdown für Agents integriert sich in Cloudflares Content Signals Framework, das während der Birthday Week eingeführt wurde und es Content-Erstellern ermöglicht, die Nutzung für KI zu steuern. Antworten enthalten beispielsweise Header wie Content-Signal: ai-train=yes, search=yes, ai-input=yes, was Zustimmung zur KI-Training, Suchindizierung und agentischer Nutzung signalisiert, mit Optionen für zukünftige individuelle Richtlinien. Cloudflare hat diese Funktion in der Entwicklerdokumentation und im Blog aktiviert, um KI-Crawler dazu zu ermutigen, Markdown statt HTML zu konsumieren, wodurch Effizienz und Semantik verbessert werden. Für KI-Systeme, die Dokumentenkonvertierung außerhalb von Cloudflare benötigen oder keinen Zugriff auf Markdown für Agents haben, bietet Cloudflare alternative Lösungen: - Workers AI’s AI. toMarkdown() unterstützt verschiedene Dokumenttypen und Zusammenfassungen. - Browser Rendering mit der /markdown REST API wandelt dynamische Seiten nach Rendering um. Cloudflare Radar verfolgt jetzt weltweit und pro Agent Anfragen von AI-Bots und Crawler-Kontent-Typen, inklusive Statistiken zum Markdown-Abruf, beispielsweise vom OAI-Searchbot von OpenAI, der die Suche von ChatGPT antreibt. Diese Daten helfen, Trends im KI-Inhaltskonsum zu überwachen und sind frei zugänglich über öffentliche APIs und Data Explorer. Um Markdown für Agents zu aktivieren, können Nutzer die Funktion im Cloudflare-Dashboard für ihre Zone umstellen. Die Funktion befindet sich derzeit im Beta-Stadium und ist kostenlos für Pro-, Business-, Enterprise-Pläne sowie SSL für SaaS-Kunden. Zusammenfassend: Mit zunehmender KI-getriebener Entdeckung ist die Annahme von Markdown für Agents eine effiziente Methode, um Webseiten strukturiert und prägnant direkt an KI-Systeme zu liefern, den Verarbeitungsaufwand zu senken, die Intention der Ersteller zu respektieren und die Zukunft der Web-Interaktion vorzubereiten.