AIクローラー／スクレイパーbotを分析・ブロックし、サイト使用料を請求できる機能をCloudflareが発表 どうやって識別している？：「コンテンツの使用に対して公平な対価が支払われるべき」

Cloudflareは、AI関連のクローラーやbotからのアクセスを分析、制御できるツールの一般提供を開始した。「どのような規模のサイトでも、コンテンツの使用に対して公平な対価が支払われるべき」とし、AIプロバイダーにサイトのコンテンツ使用料を請求できる収益化機能も発表した。

[＠IT]

　Cloudflareは2024年9月23日（米国時間）、AI（人工知能）関連のbotやクローラーを分析、制御できるツールの一般提供を開始した。

　大規模言語モデル（LLM）や生成AIツールが台頭する中、スキャンしたコンテンツデータをモデルのトレーニングに使う「AIデータスクレイパーbot」や、サイトコンテンツをユーザーの検索に対する回答として引用する「AI検索クローラーbot」が現れている。

　後者の場合、生成AIの回答に元のサイトへのリンクが示される。だがCloudflareは、「AIにより再加工された回答に満足すると、サイトを訪問する人は減少する。これはオープンなインターネットにとってのリスクになる。サイト所有者はサイトを立ち上げたり維持したりすることに意欲を失ってしまう。クリエイターは自分のコンテンツをペイウォールの後ろに隠すようになり、最大手のパブリッシャーはAIプロバイダーと直接契約を結ぶようになる。すると、AIプロバイダーは、苦労して小規模サイトにある良質なコンテンツを見つけて利用しなければならなくなる」と述べている。

　サイト所有者、クリエイター、パブリッシャーは、このツールを利用することで、サイトコンテンツにアクセスしたAI関連のbotやクローラーの情報を分析、制御できるようになるという。

CloudflareはAI関連botをどうやって識別している？

　AI関連のクローラーやbotは多くの場合、サイト側に身分を明かすための情報をユーザーエージェント文字列に含めている。Cloudflareは収集したアクセスログを解析し、既知のAI関連botやクローラーのユーザーエージェントと一致するトラフィックを見つけ出している。Cloudflareによると、IPアドレスやアクティビティーに基づいて、身分を明かしていないAI関連botやクローラーを識別することもできるという。

　同ツールを利用するには、Cloudflareにサイトを追加する必要がある。サイトを追加し、Cloudflareのダッシュボード画面の「AI Audit」にアクセスすると、サイトコンテンツに対するAIスキャンの状況や、いつ、どのくらいの頻度でどのbotがデータを収集しているのかを確認できるようになる。AIデータスクレイパーbotやAI検索クローラーbotごとのフィルタリングもできるという。

AI Auditの画面（提供：Cloudflare）

　Cloudflareのダッシュボードにあるセキュリティタブのbotセクションで、「Block AI Scrapers and Crawlers」を有効化すると、全てのAI関連botやクローラーをブロックできる。

コンテンツ使用料をAIプロバイダーに請求できる機能も発表

　Cloudflareは「どのような規模のサイトでも、コンテンツの使用に対して公平な対価が支払われるべき」とした上で、AIプロバイダーにサイトのコンテンツ使用料を請求できる収益化機能のプレビュー版も発表した。

　Cloudflareのダッシュボード上で、サイトまたはサイトの項目ごとに価格を設定し、スキャンの回数と設定価格に基づいてAIプロバイダーに使用料を請求できるようになるという。同機能を利用するには、ウェイティングリストに申し込む必要がある。

　Cloudflareは「誰もがAI企業と契約内容を交渉できるだけの時間や人脈を持っているわけではない。これまでは、インターネット上の大手パブリッシャーのみが、そのような条件を設定し、自社コンテンツに対して報酬を得ることができた。この収益化機能を利用することで、クリエイターは、訪問者のためのコンテンツ制作に集中できるようになる」と述べている。