AIエージェントのリスクやセキュリティ上の脅威を軽減する方法：Gartner Insights Pickup（370）

企業は既に、AIエージェント機能を備えた製品の統合やカスタマイズを進めている。だが、AIエージェントはAIモデルやアプリケーションに関連するリスクに加えて、新たなリスクをもたらす。本稿では、AIエージェントがもたらすリスクやセキュリティ脅威について紹介する。

[Avivah Litan, Gartner]

ガートナーの米国本社発のオフィシャルサイト「Insights」などのグローバルコンテンツから、＠IT編集部が独自の視点で“読むべき記事”をピックアップして翻訳。グローバルのITトレンドを先取りし「今、何が起きているのか、起きようとしているのか」を展望する。

　AI（人工知能）エージェントは自律的に、または半自律的に、あるいはマルチエージェントシステム内で動作し、デジタル環境と物理環境の両方でAIを用いてさまざまなユースケースを認識し、判断し、行動して目標を達成する。

　企業は既に、AIエージェント機能を備えた製品の統合やカスタマイズを進めている。例えば「Microsoft Copilot Studio」「Azure AI Studio」「AWS Bedrock」「Google NotebookLM」といった製品だ。ベンダーが生成AI機能を向上させ、自動化を強化しようとしている既存製品もたくさんある。

　だが、AIエージェントは、AIモデルやアプリケーションに関連するリスクに加えて、新たなリスクをもたらす。一般的に、従来のAIモデルやアプリケーションは、入力、モデルの処理と出力、オーケストレーション層におけるソフトウェアの脆弱（ぜいじゃく）性、ホスティング環境などに脅威が限られる。これに対し、AIエージェントでは、脅威の範囲が広がる。AIエージェントが開始するイベントとインタラクション（相互作用）の連鎖も、その中に加わる。これらは本質的に、人間やシステム運用者には見えず、管理できない。

　AIエージェントがもたらすリスクやセキュリティ脅威には、以下のようなものがある。

• データの暴露や流出：　これらのリスクは、AIエージェントが開始するイベント連鎖のどこでも発生することがある
• システムリソースの消費：　抑制が働かないエージェントの実行とインタラクションは、意図的なものかどうかにかかわらず、システムリソースに過負荷をかけ、サービス妨害（DoS：Denial of Service）やコスト超過（DoW：Denial of Wallet）（※）のシナリオにつながる場合がある
• 許可されていない、または悪意ある行動：　自律型エージェントは、悪意あるプロセスや人間による“エージェントの乗っ取り”などにより、意図されていないアクションを取るかもしれない
• コーディングロジックエラー：　AIエージェントによる許可されていない、意図されてない、または悪意あるコーディングエラーが、データ侵害などの脅威につながることがある
• サプライチェーンリスク：　サードパーティーサイトから入手したライブラリやコードを使用することで、非AI環境とAI環境の両方を標的とするマルウェアに侵入されることがある
• アクセス管理の悪用：　エージェントのロジックに開発者の認証情報を埋め込むと、特にローコードまたはノーコード開発では、重大なアクセス管理リスクにつながる場合がある
• 悪意あるコードの波及：　自動化されたエージェントの処理とRAG（検索拡張生成）ポイズニングが、悪意あるアクションを引き起こすことがある

※クラウドで過剰なスケーリングによって、支払いが困難なレベルにまでコストが膨らむことを指す。

AIエージェントの脅威に対する防御策

　自前のツールかApexやZenityのようなサードパーティー製のツールを使用して、AIエージェントのリスクを管理し、3つの主な要件を満たす必要がある。それは、「AIエージェントの全ての行動と情報フローを表示し、対応付ける」「AIエージェントの異常な行動を検知し、フラグを立てる」「可能な場合は、リアルタイムの自動修正を適用する」だ。

• AIエージェントの全ての行動と情報フローを表示し、対応付ける

　AIエージェントの行動、プロセス、接続、データ露出、情報フロー、出力、エージェントが生成する応答を包括的に表示し、それらの対応関係を図示し、異常と違反を検知する。さらに、エージェントのインタラクションの不変の監査証跡を確実にサポートする。

• AIエージェントの異常な行動を検知し、フラグを立てる

　AIエージェントの異常な行動や、事前に設定された特定の企業ポリシーに違反する行動を検知し、フラグを立てる。エージェントの行動と情報フローなどの対応図が作成され、求められる望ましい行動の基準が確立されたら、それらから外れたトランザクションや行動を検知しなければならない。

　不正なトランザクションは、可能であれば自動修正する必要がある。エージェントのインタラクションのスピードと量からすると、必要な規模の監視と修正を人間が行うことはできないからだ。自動修正が不可能なトランザクションや行動は、一時停止させ、人間が順次調査し、手動で修正すべきだ。

• リアルタイムの自動修正を適用する

　修正アクションの一環として、適切な封じ込めと緩和策を実行する必要がある。その中には、企業が定義した機密データ（個人を特定できるデータや、役員メモのような機密情報など）を、エージェントサブシステムを通過する際に編集することが含まれる。

　また、最小権限アクセスを強制するとともに、違反が検知されて修正できない場合にアクセスをブロックし、問題を人間による調査と解決に委ねることも極めて重要だ。さらに、企業データに関連する脅威インテリジェンスから収集された、エージェントの特定の脅威指標における拒否リストをサポートする。

　コーディングアシスタントがアクセスや使用を禁止または許可される、ファイルやファイルタイプの拒否リストと許可リストもサポートする必要がある。こうしたファイルには、エージェントのワークフローをサポートするためにRAGで使用されるファイルも含まれる。

　エージェントの精度の低さに起因する望ましくないアクションを特定するために、監視とフィードバックのループを実装する必要もある。

出典：Mitigate Emerging Risks and Security Threats from AI Agents（Gartner）

※この記事は、2024年8月に執筆されたものです。

筆者　Avivah Litan

Distinguished VP Analyst