Cara konten dan bisnis ditemukan secara daring sedang berkembang pesat. Sebelumnya, lalu lintas utama berasal dari mesin pencari tradisional, dengan SEO menentukan visibilitas. Kini, peningkatan lalu lintas didorong oleh crawler dan agen AI yang membutuhkan data terstruktur dari Web yang secara inheren tidak terstruktur dan berfokus pada manusia. Agar tetap terdepan, bisnis harus memikirkan kembali tidak hanya pengunjung manusia atau SEO tradisional, tetapi juga menganggap agen AI sebagai pengguna kelas satu. Memberikan HTML mentah kepada AI tidak efisien— HTML panjang dan memakan token dibandingkan markdown. Misalnya, sebuah bagian "Tentang Kami" yang sederhana memakan sekitar 3 token dalam markdown, tetapi 12–15 token dalam HTML, tidak termasuk elemen non-sematik seperti pembungkus div dan skrip yang meningkatkan penggunaan token tanpa menambah makna. Pos blog ini, jika diukur dengan token, menggunakan 16. 180 token dalam HTML, tetapi hanya 3. 150 token dalam markdown—pengurangan sebesar 80%. Markdown telah menjadi format pilihan untuk sistem AI karena strukturnya yang eksplisit, mendukung proses AI yang lebih baik dan mengurangi pemborosan token. Namun, karena Web sebagian besar terdiri dari HTML dan ukuran halaman semakin besar, agen AI harus menyaring bagian-bagian yang tidak relevan agar dapat mengakses konten yang penting.

Mengonversi HTML ke markdown dalam alur kerja AI adalah hal yang umum tetapi tidak sempurna: menambah beban komputasi, biaya, kompleksitas, dan mungkin tidak mencerminkan niat pembuatnya. Cloudflare kini menawarkan solusi inovatif dengan melakukan konversi HTML ke markdown secara waktu nyata di sumbernya untuk situs di jaringannya yang mengaktifkan Markdown for Agents. Sistem AI dapat meminta versi markdown dari halaman melalui header Accept content negotiation, dengan menyebutkan "text/markdown. " Cloudflare mengambil HTML asli dan secara otomatis mengonversinya ke markdown secara langsung, menyajikan respons yang lebih ramping dan dioptimalkan untuk AI. Misalnya, permintaan curl dengan header “Accept: text/markdown” mengambil konten markdown dari dokumentasi pengembang Cloudflare. Pengembang AI yang menggunakan Cloudflare Workers juga dapat menentukan header ini dalam panggilan fetch TypeScript. Agen pengkodean populer seperti Claude Code dan OpenCode sudah menggunakan pendekatan ini, menerima respons markdown yang memudahkan parsing dan meningkatkan efisiensi token. Respons juga menyertakan header x-markdown-tokens yang memperkirakan jumlah token, membantu sistem AI mengoptimalkan jendela konteks dan strategi chunking. Markdown untuk Agents terintegrasi dengan kerangka kerja Content Signals Cloudflare, yang diperkenalkan selama Birthday Week, memungkinkan pembuat konten mengontrol izin penggunaan AI. Respons menyertakan header seperti Content-Signal: ai-train=yes, search=yes, ai-input=yes, yang mengindikasikan persetujuan untuk pelatihan AI, pengindeksan pencarian, dan penggunaan oleh agen, dengan opsi kebijakan khusus di masa depan. Cloudflare telah mengaktifkan fitur ini di Dokumentasi Pengembang dan Blog-nya, mendorong crawler AI untuk mengonsumsi markdown daripada HTML, sehingga meningkatkan efisiensi dan makna semantik. Untuk sistem AI yang memerlukan konversi dokumen di luar Cloudflare atau saat Markdown for Agents tidak tersedia, Cloudflare menawarkan solusi alternatif: - Workers AI’s AI. toMarkdown() mendukung berbagai tipe dokumen dan rangkuman. - Rendering Browser melalui API REST /markdown mengonversi halaman dinamis setelah dirender. Cloudflare Radar kini melacak permintaan jenis konten dari bot dan crawler AI secara global dan per agen, termasuk statistik pengambilan markdown, seperti dari OAI-Searchbot milik OpenAI yang menyokong pencarian ChatGPT. Data ini membantu memantau tren konsumsi konten AI dan tersedia secara gratis melalui API publik dan Data Explorer. Untuk mengaktifkan Markdown for Agents, pengguna dapat mengaktifkan fitur ini di dashboard Cloudflare untuk zona mereka. Fitur ini saat ini dalam versi Beta tanpa biaya untuk paket Pro, Business, Enterprise, dan SSL untuk pelanggan SaaS. Singkatnya, seiring meningkatnya penemuan berbasis AI, mengadopsi Markdown untuk Agents memungkinkan situs web menyajikan konten terstruktur dan ringkas secara efisien langsung ke AI, mengurangi beban pemrosesan, menghormati niat pembuat, dan mempersiapkan masa depan interaksi web.