ChatGPTなどのLLMを狙う「プロンプトインジェクション攻撃」「データポイズニング攻撃」とは? NCSC機械学習モデルにも、サイバーセキュリティ原則の適用が不可欠

NCSCは、LLMの普及とともに「プロンプトインジェクション攻撃」や「データポイズニング攻撃」の危険性が高まっていると注意喚起した。

» 2023年09月16日 08時00分 公開
[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 英国サイバーセキュリティセンター(NCSC)は2023年8月30日(英国時間)、近年広範に普及する大規模言語モデル(LLM)における2点の脆弱(ぜいじゃく)性を指摘した。

 「ChatGPT」「Google Bard」などの大規模言語モデルは、膨大な量のテキストデータで訓練されたアルゴリズムを使用しており、ユーザーのプロンプトに対して驚くほど人間に近い応答を生成できる。しかし、LLMには「プロンプトインジェクション攻撃」や「データポイズニング攻撃」のリスクがあると、NCSCは述べている。

プロンプトインジェクション攻撃とは

 現世代のLLMのセキュリティリスクとして最も多く報告されているのはプロンプトインジェクション攻撃だ。プロンプトインジェクション攻撃では、ユーザーの入力(プロンプト)を操作して、攻撃的なコンテンツの生成や、機密情報の漏えいなど、モデルが予期しない結果を生成するよう誘導する。

 LLMの普及とともに悪意あるプロンプトインジェクション攻撃によるリスクは増大している。NCSCは2023年8月末時点で、プロンプトインジェクション攻撃のリスクを取り除く安全なセキュリティ対策はないとし、リスクの高いシステムにLLMを導入する場合はシステムの設計を注意深く検討し、事前の注意が必要とした。

データポイズニング攻撃とは

 一般的に機械学習(ML)モデルはトレーニングに使用されるデータが良質なものかどうかが重要となる。LLMも同様だが、LLMの学習データはオープンインターネットから、不正確なものや攻撃的なものも含めて膨大な量が収集されている。

 これらの情報を改ざんし、セキュリティとバイアスの両面で望ましくない結果を生み出そうとするのがデータポイズニング攻撃だ。NCSCによると、近年の研究では、学習データのごく一部にアクセスするだけで、極めて大規模な言語モデルを汚染可能だと実証されているという。

LLMの利用を検討する企業が次になすべきことは?

 ここ数カ月の間に、他のMLシステム、ツール、ワークフローに関する脆弱性やセキュリティインシデントも報告されている。NCSCはこれらの多くが、確立されたサイバーセキュリティの原則を大規模言語モデルの開発や利用に適用することで軽減できるとし、以下の4つを検討すべきとした。

インターネットからダウンロードしたコード(モデル)を実行する前に検討する

 MLプロジェクトでは事前トレーニング済みのモデルをダウンロードし、それを自分のプロジェクトに統合する場合、そのモデルのコードが安全であるかどうかを検討する必要がある。リスク軽減のために以下のオプションを検討すべきだ。

  • 異なるシリアル化形式を使用する
  • Pickleスキャンツールを使用する
  • 標準的なサプライチェーンセキュリティを適用する

インターネットからダウンロードしたコード(パッケージ)を実行する前に検討する

 MLプロジェクトや他のソフトウェア開発プロジェクトにおいて、外部のパッケージやライブラリをダウンロードし、プロジェクトに組み込む場合でも、パッケージが安全で信頼性が高いかどうかを検討する必要がある。

公表されている脆弱性を常に把握し、ソフトウェアを定期的にアップグレードする

 リリースバージョンが最新であることを確認するのが重要だとした。

ソフトウェアパッケージの依存関係を理解する

 攻撃者は依存関係を混乱させ、開発者が信頼できないソースから誤ってパッケージを取得することを悪用するため、ソフトウェアパッケージの依存関係を理解しておくことが重要だ。

 AIの状況が急速に変化する中で、サイバーセキュリティの衛生状態を良好に保つことが、MLのコンポーネントが含まれているかどうかにかかわらず、全てのシステムを保護する最善の方法だ。「セキュア・バイ・デザイン」や「セキュア・バイ・デフォルト」、アクセス制御、ソフトウェアアップデートの適用、優れたサプライチェーンセキュリティの取り組みが重要だと、NCSCは述べている。

Copyright © ITmedia, Inc. All Rights Reserved.

スポンサーからのお知らせPR

注目のテーマ

4AI by @IT - AIを作り、動かし、守り、生かす
Microsoft & Windows最前線2025
AI for エンジニアリング
ローコード/ノーコード セントラル by @IT - ITエンジニアがビジネスの中心で活躍する組織へ
Cloud Native Central by @IT - スケーラブルな能力を組織に
システム開発ノウハウ 【発注ナビ】PR
あなたにおすすめの記事PR

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。