AIクローラー／スクレイパーbotを分析・ブロックし、サイト使用料を請求できる機能をCloudflareが発表 どうやって識別している？：「コンテンツの使用に対して公平な対価が支払われるべき」

Cloudflareは、AI関連のクローラーやbotからのアクセスを分析、制御できるツールの一般提供を開始した。「どのような規模のサイトでも、コンテンツの使用に対して公平な対価が支払われるべき」とし、AIプロバイダーにサイトのコンテンツ使用料を請求できる収益化機能も発表した。

[＠IT]

　Cloudflareは2024年9月23日（米国時間）、AI（人工知能）関連のbotやクローラーを分析、制御できるツールの一般提供を開始した。

　大規模言語モデル（LLM）や生成AIツールが台頭する中、スキャンしたコンテンツデータをモデルのトレーニングに使う「AIデータスクレイパーbot」や、サイトコンテンツをユーザーの検索に対する回答として引用する「AI検索クローラーbot」が現れている。

　後者の場合、生成AIの回答に元のサイトへのリンクが示される。だがCloudflareは、「AIにより再加工された回答に満足すると、サイトを訪問する人は減少する。これはオープンなインターネットにとってのリスクになる。サイト所有者はサイトを立ち上げたり維持したりすることに意欲を失ってしまう。クリエイターは自分のコンテンツをペイウォールの後ろに隠すようになり、最大手のパブリッシャーはAIプロバイダーと直接契約を結ぶようになる。すると、AIプロバイダーは、苦労して小規模サイトにある良質なコンテンツを見つけて利用しなければならなくなる」と述べている。

　サイト所有者、クリエイター、パブリッシャーは、このツールを利用することで、サイトコンテンツにアクセスしたAI関連のbotやクローラーの情報を分析、制御できるようになるという。

CloudflareはAI関連botをどうやって識別している？