ChatGPTなどのLLMを狙う「プロンプトインジェクション攻撃」「データポイズニング攻撃」とは？　NCSC：機械学習モデルにも、サイバーセキュリティ原則の適用が不可欠

NCSCは、LLMの普及とともに「プロンプトインジェクション攻撃」や「データポイズニング攻撃」の危険性が高まっていると注意喚起した。

» 2023年09月16日 08時00分公開

[＠IT]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　英国サイバーセキュリティセンター（NCSC）は2023年8月30日（英国時間）、近年広範に普及する大規模言語モデル（LLM）における2点の脆弱（ぜいじゃく）性を指摘した。

　「ChatGPT」「Google Bard」などの大規模言語モデルは、膨大な量のテキストデータで訓練されたアルゴリズムを使用しており、ユーザーのプロンプトに対して驚くほど人間に近い応答を生成できる。しかし、LLMには「プロンプトインジェクション攻撃」や「データポイズニング攻撃」のリスクがあると、NCSCは述べている。

プロンプトインジェクション攻撃とは

#CmsMembersControl .CmsMembersControlIn {width:100%;background:url(https://image.itmedia.co.jp/images/spacer.gif) #DDD;opacity:0.05;filter:progid:DXImageTransform.Microsoft.Alpha(Enabled=1,Style=0,Opacity=5);z-index:1;}

続きを閲覧するには、ブラウザの JavaScript の設定を有効にする必要があります。

NVIDIAとSnowflakeが「企業の貴重なデータを生成AIに変えるサービス」を提供開始
NVIDIAとSnowflakeは、生成AIを素早く構築するため提携したと発表した。Snowflakeのデータを使用して生成AI用のカスタム大規模言語モデルを構築できるという。
Google Cloud、生成系AI利用のセキュリティプラットフォーム「Security AI Workbench」を発表
Googleは「Google Cloud Security AI Workbench」を発表した。セキュリティに特化した大規模言語モデル（LLM）である「Sec-PaLM」をベースにした業界初の拡張可能なセキュリティプラットフォームとうたっている。
企業は生成AIのセキュリティリスクとどう付き合うべきか、うっかり情報漏えいやプロンプトインジェクションへの対応方法とは
ChatGPTをきっかけとして、生成AIへの関心が急速な高まりを見せている。だがセキュリティリスクも考える必要がある。企業はリスクを制御しながら、生成AIをどう活用していくべきか、NRIセキュアによる説明をお届けする。