NCSCは、LLMの普及とともに「プロンプトインジェクション攻撃」や「データポイズニング攻撃」の危険性が高まっていると注意喚起した。
この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。
英国サイバーセキュリティセンター(NCSC)は2023年8月30日(英国時間)、近年広範に普及する大規模言語モデル(LLM)における2点の脆弱(ぜいじゃく)性を指摘した。
「ChatGPT」「Google Bard」などの大規模言語モデルは、膨大な量のテキストデータで訓練されたアルゴリズムを使用しており、ユーザーのプロンプトに対して驚くほど人間に近い応答を生成できる。しかし、LLMには「プロンプトインジェクション攻撃」や「データポイズニング攻撃」のリスクがあると、NCSCは述べている。
現世代のLLMのセキュリティリスクとして最も多く報告されているのはプロンプトインジェクション攻撃だ。プロンプトインジェクション攻撃では、ユーザーの入力(プロンプト)を操作して、攻撃的なコンテンツの生成や、機密情報の漏えいなど、モデルが予期しない結果を生成するよう誘導する。
LLMの普及とともに悪意あるプロンプトインジェクション攻撃によるリスクは増大している。NCSCは2023年8月末時点で、プロンプトインジェクション攻撃のリスクを取り除く安全なセキュリティ対策はないとし、リスクの高いシステムにLLMを導入する場合はシステムの設計を注意深く検討し、事前の注意が必要とした。
一般的に機械学習(ML)モデルはトレーニングに使用されるデータが良質なものかどうかが重要となる。LLMも同様だが、LLMの学習データはオープンインターネットから、不正確なものや攻撃的なものも含めて膨大な量が収集されている。
これらの情報を改ざんし、セキュリティとバイアスの両面で望ましくない結果を生み出そうとするのがデータポイズニング攻撃だ。NCSCによると、近年の研究では、学習データのごく一部にアクセスするだけで、極めて大規模な言語モデルを汚染可能だと実証されているという。
ここ数カ月の間に、他のMLシステム、ツール、ワークフローに関する脆弱性やセキュリティインシデントも報告されている。NCSCはこれらの多くが、確立されたサイバーセキュリティの原則を大規模言語モデルの開発や利用に適用することで軽減できるとし、以下の4つを検討すべきとした。
MLプロジェクトでは事前トレーニング済みのモデルをダウンロードし、それを自分のプロジェクトに統合する場合、そのモデルのコードが安全であるかどうかを検討する必要がある。リスク軽減のために以下のオプションを検討すべきだ。
MLプロジェクトや他のソフトウェア開発プロジェクトにおいて、外部のパッケージやライブラリをダウンロードし、プロジェクトに組み込む場合でも、パッケージが安全で信頼性が高いかどうかを検討する必要がある。
リリースバージョンが最新であることを確認するのが重要だとした。
攻撃者は依存関係を混乱させ、開発者が信頼できないソースから誤ってパッケージを取得することを悪用するため、ソフトウェアパッケージの依存関係を理解しておくことが重要だ。
AIの状況が急速に変化する中で、サイバーセキュリティの衛生状態を良好に保つことが、MLのコンポーネントが含まれているかどうかにかかわらず、全てのシステムを保護する最善の方法だ。「セキュア・バイ・デザイン」や「セキュア・バイ・デフォルト」、アクセス制御、ソフトウェアアップデートの適用、優れたサプライチェーンセキュリティの取り組みが重要だと、NCSCは述べている。
Copyright © ITmedia, Inc. All Rights Reserved.