วิธีการค้นพบเนื้อหาและธุรกิจในโลกออนไลน์กำลังเปลี่ยนแปลงอย่างรวดเร็ว ก่อนหน้านี้ การจราจรส่วนใหญ่มาจากเสิร์ชเอนจินแบบดั้งเดิม โดยการทำ SEO เป็นตัวกำหนดความสามารถในการมองเห็น ตอนนี้ การจราจรที่เพิ่มขึ้นถูกขับเคลื่อนโดย AI crawlers และ agents ที่ต้องการข้อมูลโครงสร้างจากเว็บที่เป็นเรื่องของมนุษย์โดยธรรมชาติ ซึ่งไม่มีโครงสร้างชัดเจน เพื่อให้ได้เปรียบ ธุรกิจต้องพิจารณาใหม่ไม่เพียงแค่ผู้เยี่ยมชมมนุษย์หรือ SEO แบบดั้งเดิมเท่านั้น แต่ต้องถือว่า AI agents เป็นผู้ใช้ระดับแรกเช่นกัน การส่ง HTML ดิบให้ AI เป็นแนวทางที่ไม่ประสิทธิภาพ — HTML มีคำยาวและใช้โทเคนมากเมื่อเปรียบเทียบกับ markdown ยกตัวอย่างเช่น ส่วน "About Us" ง่ายๆ ใน markdown ใช้ประมาณ 3 โทเคน แต่ใน HTML กลับใช้ถึง 12–15 โทเคน โดยไม่นับรวมองค์ประกอบที่ไม่ให้ความหมาย เช่น div wrappers และ scripts ที่ทำให้การใช้โทเคนเพิ่มขึ้นโดยไม่เพิ่มความหมาย บทความนี้เมื่อวัดในโทเคน จะใช้ HTML ถึง 16, 180 โทเคน แต่ใน markdown เพียง 3, 150 โทเคน ลดลงถึง 80% Markdown กลายเป็นรูปแบบที่นิยมสำหรับระบบ AI เนื่องจากมีโครงสร้างชัดเจน ซึ่งสนับสนุนการประมวลผลของ AI ที่ดีกว่าและลดของเสียจากการใช้โทเคน อย่างไรก็ตาม เนื่องจากเว็บหลักประกอบด้วย HTML เป็นหลักและขนาดของหน้าเว็บเติบโตขึ้น ระบบ AI จึงต้องกรองส่วนที่ไม่เกี่ยวข้องเพื่อเข้าถึงเนื้อหาที่สำคัญ การแปลง HTML เป็น markdown ในขั้นตอนของ AI จึงเป็นที่นิยม แต่ก็ไม่สมบูรณ์เสมอไป เพราะเพิ่มภาระการคำนวณ ต้นทุน ความซับซ้อน และอาจไม่สะท้อนเจตนาของผู้สร้างดั้งเดิม Cloudflare จึงนำเสนอทางแก้ปัญหาแบบนวัตกรรม โดยทำการแปลง HTML เป็น markdown แบบเรียลไทม์ ณ แหล่งที่มา สำหรับเว็บไซต์ที่อยู่ในเครือข่ายของตน และเปิดใช้งาน Markdown for Agents ระบบ AI สามารถร้องขอเวอร์ชัน markdown ของหน้าเว็บผ่านส่วนหัว Accept โดยระบุ “text/markdown” แล้ว Cloudflare จะดึง HTML ดั้งเดิมและแปลงเป็น markdown อัตโนมัติในทันที ส่งผลให้ได้คำตอบที่มีโครงสร้างเรียบร้อยและเหมาะสมกับ AI ตัวอย่างเช่น คำร้องขอด้วย curl พร้อมส่วนหัว “Accept: text/markdown” จะดึงข้อมูล markdown จากเอกสารการพัฒนาของ Cloudflare ซึ่งนักพัฒนา AI ใช้ Cloudflare Workers ก็สามารถระบุส่วนหัวนี้ในการเรียก fetch ด้วย TypeScript ระบบแนะนำ เช่น Claude Code และ OpenCode ก็ใช้แนวทางนี้เช่นกัน โดยรับคำตอบในรูปแบบ markdown ซึ่งง่ายต่อการวิเคราะห์และมีประสิทธิภาพในการใช้โทเคนมากขึ้น คำตอบยังรวมถึงหัวข้อ x-markdown-tokens ซึ่งประมาณจำนวนโทเคน ช่วยให้ระบบ AI จัดการบริบทและแบ่งส่วนข้อมูลได้ดีขึ้น Markdown สำหรับ Agents เชื่อมต่อกับกรอบงาน Content Signals ของ Cloudflare ซึ่งเปิดตัวในสัปดาห์วันเกิด ช่วยให้ผู้สร้างเนื้อหาสามารถควบคุมการอนุญาตให้ AI ใช้งาน เนื้อหาในคำตอบ จะมีหัวข้อเช่น Content-Signal: ai-train=yes, search=yes, ai-input=yes เพื่อแสดงความยินยอมในการฝึก AI การทำดัชนีค้นหา และการใช้งานในเชิงตัวแทน พร้อมนโยบายที่กำหนดเองในอนาคต Cloudflare ได้เปิดใช้งานฟีเจอร์นี้ในเอกสารและบล็อกของนักพัฒนา เพื่อสนับสนุนให้ AI crawlers บริโภคเนื้อหาในรูปแบบ markdown แทน HTML ซึ่งเป็นการเพิ่มประสิทธิภาพและความเข้าใจด้านความหมาย สำหรับระบบ AI ที่ต้องการแปลงเอกสารนอก Cloudflare หรือในกรณีที่ไม่สามารถใช้ Markdown for Agents ได้ Cloudflare ให้ทางเลือกอื่น เช่น: - AI. toMarkdown() สำหรับ Workers ที่รองรับเอกสารหลายประเภทและสรุปเนื้อหา - การแสดงผลบนเบราว์เซอร์ด้วย REST API /markdown ที่แปลงหน้าเว็บไดนามิกหลังจากการเรนเดอร์ Cloudflare Radar ตอนนี้ติดตามคำขอประเภท content-type ของ bots และ crawlers ทั่วโลก รวมถึงสถิติการดึง markdown เช่นเดียวกับข้อมูลจาก OAI-Searchbot ของ OpenAI ซึ่งเป็นเครื่องมือที่ให้ข้อมูลการค้นหาใน ChatGPT ข้อมูลนี้ช่วยให้สามารถตรวจสอบแนวโน้มการใช้เนื้อหา AI ได้ฟรี ผ่าน API สาธารณะและ Data Explorer เพื่อเปิดใช้ Markdown for Agents ผู้ใช้สามารถเปิดใช้งานฟีเจอร์นี้ในแดชบอร์ดของ Cloudflare สำหรับโดเมนของตนเอง ฟีเจอร์นี้อยู่ในช่วง Beta โดยไม่เสียค่าใช้จ่ายสำหรับแผน Pro, Business, Enterprise และลูกค้า SaaS ที่ใช้ SSL โดยสรุป เมื่อการค้นพบด้วย AI เพิ่มขึ้น การนำ Markdown มาใช้สำหรับ Agents ช่วยให้เว็บไซต์สามารถให้บริการเนื้อหาแบบมีโครงสร้าง กระชับโดยตรงต่อ AI ลดภาระการประมวลผล เคารพเจตนาของผู้สร้าง และเตรียมรับอนาคตของการโต้ตอบบนเว็บ