OpenAIがWebクローラー「GPTBot」の文書を公開、クロールを禁止するには？：個人情報などはどう扱うのか

OpenAIがWebクローラー「GPTBot」の文書を公開した。同時に、個人情報などの扱い方やアクセスを禁止したり、カスタマイズしたりする方法なども記載している。

[＠IT]

　OpenAIがWebクローラー「GPTBot」の文書を公開した。GPTBotはOpenAIが使用するWebクローラーで、クロールされたWebページは、OpenAIのAIモデルを改善するために使用される可能性がある。

　OpenAIは「GPTBotがWebサイトにアクセスできるようにすると、AIモデルの精度が向上し、一般的な機能と安全性が向上する。（一方で、）ペイウォールアクセスを必要とするソース、個人を特定できる情報（PII）を収集することが知られているソース、またはポリシーに違反するテキストを含むソースを削除するためにフィルタリングする」としている。

GPTBotのサイト