無料でWebサイトの「AIエージェント対応度」を評価 Cloudflareが新ツール公開：「AIO最適化」に役立つ？ 改修用プロンプトも提供

AIエージェントがWeb上の情報を直接取得、活用する動きが広がる中、Webサイト側の対応が課題となっている。こうした中、CloudflareがWebサイトのAI対応度を評価するスコアと評価ツールを公開した。4つの次元で採点し、改善に役立つプロンプトも提供するという。

[＠IT]

　Cloudflareは2026年4月17日（米国時間）、WebサイトのAIエージェント対応度を評価するスコア「Agent Readiness」と評価ツール「isitagentready.com」を発表した。インターネットトラフィック可視化ツール「Cloudflare Radar」にもインターネット上でのエージェント標準の採用状況を追跡する新データセット「Adoption of AI agent standards」を追加した。

　Cloudflareは、AIエージェントがWeb上の情報を直接利用するケースが増える中、Webサイト側の対応が新たな課題になっていると指摘した上で「Webは常に新しい標準に適応してきた。Webがブラウザに適応し、その後検索エンジンに適応してきたのと同様に、今はAIエージェントに対応する必要がある」と述べている。

• 無料で読めるAIエージェントの実践ガイド、Googleが公開　基礎から本番実装まで学べる（＠IT）
• 期待外れの生成AI、何が足りない？　なぜ「コンテキストエンジニアリング」が必要か（＠IT）

WebサイトのAIエージェント対応度はまだ低い

　Cloudflare Radarは、上位20万ドメインからリダイレクトや広告サーバ、トンネリングサービスなどエージェント対応度が重要でないカテゴリーを除外し、新ツールでスキャンした。その結果、検索エンジン向けの対応は広く普及している一方で、AIエージェントが情報を理解・利用するための仕組みはほとんど整備されていないことが分かった。

　主な結果は次の通り。

• robots.txt
  • 78％のサイトが設置しているが、大部分は従来型の検索エンジンクローラー向けの記述
• Content Signals
  • 4％のサイトがrobots.txtでAI利用の意向を宣言している
• Markdownコンテンツネゴシエーション
  • 3.9％のサイトが「Accept: text/markdown」に対してMarkdownを返す
• MCP（Model Context Protocol）サーバカードとAPIカタログ
  • データセット全体で両方を合わせても15サイトに満たない

検索エンジン向けの対応は進んでいる一方で、AIエージェント向けの標準はほとんど普及していない（提供：Cloudflare）

　このチャートは毎週更新され、「Data Explorer」やRadar APIからもアクセスできる。

• APIキーは必ず狙われる　生成AI時代のAPIセキュリティの新常識をPreferred NetworksのCISOが解説（＠IT）
• 「ブラウザ自動化」の限界を解消？　Googleが新標準「WebMCP」早期プレビュー公開（＠IT）

AIエージェントがWebサイトを利用する際に必要となる要素

　Cloudflareが新たに公開したisitagentready.comでは、WebサイトのURLを入力するだけでエージェント対応度をスコア形式で確認できる。このスコアは、AIエージェントがWebサイトをどの程度理解・利用できるかを示す指標であり、スコアは次の4つの観点で算出される。

AIエージェント対応度は4つの観点でスコア化される（提供：Cloudflare）

• Discoverability（発見可能性）
  • robots.txt、sitemap.xml、Linkヘッダ
• Content（コンテンツアクセシビリティー）
  • Markdown配信、llms.txtなど
• Bot Access Control（botアクセス制御）
  • Content Signals、AI bot制御、Web Bot Auth
• Capabilities（機能）
  • Agent Skills、APIカタログ、OAuthサーバディスカバリー、MCPサーバカード、WebMCP

　検査項目ごとに不合格だった場合、コーディングエージェントに渡して対応を実装させるための改修用プロンプトを提供する。

不合格だった場合に提供されるプロンプトの例（提供：Cloudflare）

　isitagentready.com自体もエージェント対応となっており、自ら模範を示している。ステートレスなMCPサーバを公開し、Streamable HTTP経由で「scan_site」ツールを提供しているため、MCP互換のエージェントであればWebインタフェースを使わずにプログラムからWebサイトをスキャンできる。

　「Agent Skills」のインデックスも公開しており、チェック対象となる各標準に対応するスキルドキュメントを提供している。これにより、エージェントは何を修正すべきかだけでなく、どのように修正すべきかも理解できるという。

Discoverability（発見可能性）

　Discoverabilityは、AIエージェントがWebサイト上のコンテンツやリソースを効率的に見つけられるようにするための仕組みを指す。

• robots.txt
  • クロールの許可範囲を定義すると同時に、サイトマップの場所を示す起点となる。エージェントはまずここを参照する
• sitemap.xml
  • サイト内の全URLを一覧化したXMLで、エージェントがリンクをたどらずに全体構造を把握できる
• Linkヘッダ（RFC 8288）
  • 「APIカタログ」など重要なリソースへのリンクをHTTPレスポンスに直接含めることで、HTMLを解析せずに発見可能にする

Content（コンテンツアクセシビリティー）

　こうした評価軸のうち、特にコンテンツの扱いやすさに関わるのがContent（コンテンツアクセシビリティー）の領域だ。Cloudflareはコンテンツアクセシビリティーの標準として「llms.txt」と「Markdownコンテンツネゴシエーション」を挙げる。

　llms.txtはサイトのルートに置くプレーンテキストファイルで、サイトの概要と重要コンテンツの所在をLLM（大規模言語モデル）に示す。

　Markdownコンテンツネゴシエーションは、エージェントが「Accept: text/markdown」ヘッダを送ると、サーバがHTMLの代わりにクリーンなMarkdownを返す仕組みだ。Markdown形式は不要な装飾がなく、トークン使用量を大幅に削減できる。その結果、応答速度が向上し、コストも低減され、モデルのコンテキストウィンドウの制限内で全文を処理できる可能性が高まる。

　Cloudflareは、一部のケースでトークン使用量を最大80％削減できるとする結果も示している。評価ツールではデフォルト（既定）でMarkdown対応のみをチェック対象とし、llms.txtはオプション扱いとなっている。

• 「divやscriptの“意味”は0」　HTML読み込み時のAIトークン使用量を「8割減らす」機能、Cloudflare発表（＠IT）
• MCPは死んでない？　MCPの2026年ロードマップ公開　「AIツール接続」から「AI自律連携インフラ」へ（＠IT）

botアクセス制御

　AIエージェントがWebサイトを巡回・利用できるようになったことで、「どのbotに何を許可するか」という制御が重要になる。robots.txtは、サイトマップの指定だけでなく、どのクローラーにどの範囲のアクセスを許可するのかを定義する基本的な仕組みであり、botが最初に参照する標準的な手段でもある。

　Content Signalsを利用することで、単なる許可／拒否を超えて、AIによるコンテンツ利用方法を細かく制御できる。学習への利用（ai-train）、推論入力としての利用（ai-input）、検索結果への表示（search）を個別に指定できる。

　「Web Bot Auth」は、bot側が自身を認証し、サイト側がその正当性を検証する仕組みだ。botはHTTPリクエストに署名を付与し、サイトは公開鍵を使ってそれを検証することで、信頼できるbotかどうかを識別できる。全てのサイトに必要なものではないが、エージェント運用サイト向けとして今後ますます重要になると予想される。

プロトコルディスカバリー

　プロトコルディスカバリーは、AIエージェントが単にコンテンツを読むだけでなく、サイトの機能（APIやツール）を発見し、直接操作できるようにするための仕組みを指す。

• APIカタログ（RFC 9727）
  • サイトが提供するAPIを「/.well-known/api-catalog」で一元公開し、エージェントがドキュメントを解析せずにAPI一覧、仕様、状態を取得できる。
• MCP
  • 1つのMCPサーバを用意すれば複数のエージェントから利用可能になる
• MCPサーバカード
  • MCPサーバの機能・接続方法・認証方法などを事前に記述したJSON（/.well-known/mcp/server-card.json）。エージェントはこれを読むだけで利用方法を理解できる
• Agent Skills
  • サイトが提供する操作スキルを「/.well-known/agent-skills/index.json」で公開し、エージェントが利用可能な機能を把握できる
• OAuthサーバディスカバリー（RFC 9728）
  • 認証が必要なサイトでも、標準化された情報を使って認可サーバを発見し、安全にユーザー許可を得た上でアクセスできる

Cloudflare自身の取り組み

Cloudflare URL Scannerへの統合

　CloudflareはセキュリティリサーチャーやIT開発者向けに提供する「Cloudflare URL Scanner」において、Agent Readinessタブを追加した。既存の診断ツールに統合することで、Webサイトのエージェント対応状況を確認できる。

　スキャン時に合格した検査項目、サイトのレベル、スコア改善のためのガイダンスが表示される。URL Scanner APIを通じてプログラムからも利用でき、スキャンリクエストに「agentReadiness」オプションを渡すと結果に含まれる。

Cloudflare URL Scannerで表示される評価結果の例　各項目の合否や改善のヒントも提示される（提供：Cloudflare）

　Cloudflareは、自社の開発者向けドキュメントをエージェントフレンドリーに改修した。主な取り組みは次の通り。

• index.mdによるURLフォールバック
  • 任意のページに「/index.md」を付けるとMarkdownで取得できる仕組みを、URL Rewrite RuleとRequest Header Transform Ruleの2つで実装
• 大規模サイト向けのllms.txtの分割
  • 5000ページ超を1ファイルに収めるとコンテキストウィンドウを超過するため、トップレベルディレクトリごとに別のllms.txtを生成
• AIトレーニングクローラーのリダイレクト
  • レガシー製品のドキュメントをAIトレーニングクローラーから意図的に遠ざけ、LLMには最新情報のみを提供
• HTMLページへの隠しディレクティブ
  • LLM向けにMarkdown版の取得方法を指示する隠しテキストを全ページに埋め込み

　Cloudflareは、OpenCode経由で「Kimi-k2.5」を利用したベンチマークにおいて、同社のドキュメントは平均31％少ないトークン消費で、他の大手技術ドキュメントサイト平均と比較して66％速く正解にたどり着いたと報告している。

　Cloudflareは「Webサイトのエージェント対応化は、現代の開発者ツールキットにとって根本的なアクセシビリティー要件だ」とし、「『人間が読むWeb』から『機械も読むWeb』への移行は、数十年で最大のアーキテクチャ変化だ」と説明している。同社はisitagentready.comで取得したスコアとプロンプトを活用し、エージェント時代に向けたサイト改修を進めるよう呼びかけている。