WebスクレイピングAI bot、最も禁止されているのは「GPTBot」だがアクセス最多は別のクローラー：Cloudflareネットワーク調査

Cloudflareは同社製品のWebスクレイピングAI botブロック機能を使い、AI企業によるWebクローラーの活動状況を調査した結果を紹介した。アクセス数が多いにもかかわらず、あまり禁止されていないAI botがあるなど、現状を分析している。

» 2024年07月27日 08時00分公開

[＠IT]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　Cloudflareは2024年7月3日（米国時間）、同社製品のWebスクレイピングAI bot（クローラー）ブロック機能を使った、ネットワーク全体のトラフィック調査を紹介するブログエントリを公開した。Cloudflareは以下のように説明している。

AI botのトラフィック量や種類、割合

#CmsMembersControl .CmsMembersControlIn {width:100%;background:url(https://image.itmedia.co.jp/images/spacer.gif) #DDD;opacity:0.05;filter:progid:DXImageTransform.Microsoft.Alpha(Enabled=1,Style=0,Opacity=5);z-index:1;}

続きを閲覧するには、ブラウザの JavaScript の設定を有効にする必要があります。

Google、Google AIの改良へのサイトコンテンツの使用可否を設定できるWeb管理者向けツールを発表
Googleは、WebパブリッシャーがGoogleの「Bard」や「Vertex AI」の生成API（これらのサービスを支える将来の世代のAIモデルを含む）を改良するために自サイトのコンテンツを使わせるかどうかを設定できるスタンドアロン製品トークン「Google-Extended」を発表した。
OpenAIがWebクローラー「GPTBot」の文書を公開、クロールを禁止するには？
OpenAIがWebクローラー「GPTBot」の文書を公開した。同時に、個人情報などの扱い方やアクセスを禁止したり、カスタマイズしたりする方法なども記載している。
Zoom「顧客の同意なしに、AIモデルのトレーニングに顧客コンテンツを使用することはない」と発表
Zoomの最高プロダクト責任者が「Zoomの利用規約は、同意なくユーザーコンテンツをAIトレーニングに利用できる」という技術系情報サイトの懸念、議論に対して「Zoomのサービス規約と業務慣行はAI機能にどのように適用されるか」と題したブログ記事を公開した。