AIクローラーによるコンテンツ利用をカスタマイズ、Cloudflareがサービスを提供開始：Cloudflareの全ユーザーが無料で利用可能

Cloudflareは、「robots.txt」の管理サービスを提供すると発表した。Webサイト運営者はAIによる要約生成や推論利用を含むデータ使用に関して、他者への利用方針（プレファレンス）を明示的に設定できるようになる。

[＠IT]

　Cloudflareは2025年9月24日、「robots.txt」の管理サービスを提供すると発表した。robots.txtは、Webクローラーに対し、Webサイトのどの部分にアクセスできるか、またはアクセスを拒否するかを指示するためのテキストファイルだ。これを利用することで、Webサイト運営者はAIによる概要生成や推論利用のオプトアウト機能を含め、Webサイトデータの利用方法に関するプレファレンス（運営者の意思）を明確に表明できる。

リリース

AIクローラーへの明確な指示が可能に

　　Cloudflareによれば、AIクローラーはWebサイトから膨大なデータをスクレイピングしているものの、Webサイト運営者はコンテンツの利用を「許可するかどうか」「どのように」「何の目的で」許可するのかという細かい意思を伝える手段がない状況にあるという。

　今回のCloudflareの取り組みでは、robots.txtファイルを活用してWebサイト運営者がどのクローラーを許可し、サイト内のどの部分にアクセスできるかを詳細に指定できる。さらに、Cloudflareの新しいコンテンツシグナルポリシーによって、AIクローラーなど自動化されたアクセス手段に対して明確な利用方針を提示し、robots.txt設定の効果を強化できるとしている。

　robots.txtファイルの管理機能は、Cloudflareの全てのユーザーが無料で利用できる。また、クローラーがコンテンツをどのように利用するかについて、robots.txtファイルをカスタマイズするための支援ツールも同時に提供されている。