「divやscriptの“意味”は0」 HTML読み込み時のAIトークン使用量を「8割減らす」機能、Cloudflare発表：利用可否も示せる

Cloudflareは、AI向けにHTMLコンテンツをMarkdown形式に自動変換して配信する「Markdown for Agents」を発表した。AIクローラーやエージェントの増加で構造化データの需要が高まっているという。

[＠IT]

　Cloudflareは2026年2月12日（米国時間）、AI（人工知能）クローラーやエージェント向けの新機能「Markdown for Agents」を発表した。WebページのHTMLコンテンツをMarkdown形式にリアルタイムで自動変換して配信する機能で、「Cloudflare」の「Pro」「Business」「Enterprise」プランおよび「Cloudflare for SaaS」のユーザー向けにβ版として無料提供される。

AIクローラーやエージェントの増加で構造化データの需要が高まる

　従来、Webコンテンツの発見は検索エンジン経由が主流だった。しかし現在、トラフィックはAIクローラーやエージェントからのアクセスが増加しており、人間向けに構築された非構造化Webから、AI向けの構造化データを求める需要が高まっている。HTMLからMarkdownへの変換は、AIパイプラインにおいて一般的なステップだという。

　HTMLは装飾タグや属性が多くトークン消費量が大きい。一方、Markdownでは同じ見出しを簡潔に表現できる。例えば、Markdown形式の「## About Us」は約3トークンで済むが、HTML形式の「<h2 class="section-title" id="about">About Us</h2>」は12〜15トークンを消費する。<div>ラッパー、ナビゲーションバー、scriptタグなどは意味的な価値がない。

　同社の検証では、HTML形式で1万6180トークンのページが、Markdown形式では3150トークンになり、約8割削減されたという。

AIエージェントやクローラーに返されるコンテンツタイプの分布（提供：Cloudflare）

「Markdown for Agents」の仕組み

　本機能を有効化したゾーンでは、AIシステムがHTTPリクエストのAcceptヘッダで「text/markdown」を指定すると、CloudflareのネットワークがオリジナルのWebページからHTMLを取得し、リアルタイムでMarkdownに変換して配信する。

「Markdown for Agents」の動作フロー図。Cloudflareのネットワーク上で変換処理が行われる（提供：Cloudflare）

　変換されたレスポンスには、Markdownドキュメントの推定トークン数を示す「x-markdown-tokens」ヘッダが付与される。

　AIコーディングエージェント「Claude Code」「OpenCode」などは、既にこのAcceptヘッダを送信しているという。

AIトレーニングや検索への利用可否を明示

　変換レスポンスには「Content-Signal: ai-train=yes, search=yes, ai-input=yes」ヘッダが含まれ、コンテンツがAIトレーニング、検索、エージェント入力に利用可能かどうかを示す。これは同社が2025年の「Birthday Week」で発表した「Content Signals」フレームワークに基づくものだ。

ダッシュボードからワンクリックで設定

　本機能を有効化するには、Cloudflareダッシュボードにログインし、アカウントとゾーンを選択後、「Quick Actions」から「Markdown for Agents」ボタンをトグルでオンにする。

Cloudflareダッシュボード上の「Markdown for Agents」設定画面（提供：Cloudflare）

　同社の開発者向けドキュメントやブログでは既に本機能が有効化されている。