AIエージェントに「何を指示するか」より「何をさせないか」――NVIDIAが示す設計の原則：AIエージェントは「判断を誤る」が前提

AIエージェントが社内システムやデータを自律的に操作するようになるとき、どのようなセキュリティ対策が必要なのか。NVIDIAは、AIへの指示だけに頼らず、実行環境でのアクセス制御や権限管理、継続的な検証を組み合わせることの重要性を指摘する。

[＠IT]

　AIエージェントは、与えられた指示に基づいて推論し、外部のツールやシステムを利用してタスクを実行する。業務の自動化が進む一方、AIエージェントが誤った判断をしたり、外部から与えられた悪意ある指示に従ったりすることで、意図しない操作を実行するリスクも生じる。

　これに対してNVIDIAは2026年9月21日（米国時間）、AIエージェントのセキュリティ設計についてブログ記事「AI Security Is an Engineering Problem - How to Solve It at Every Layer of the Agent Stack」で解説した。同社が強調するのは、AIエージェントが誤った判断をした場合でも、許可されていない操作を実行できないようにすることだ。

AIエージェントは「判断を誤る」――制御不能を防ぐには？

　NVIDIAは、顧客情報を更新するAIエージェントを例に挙げて説明している。このAIエージェントが業務中に添付文書を読み取り、その中に埋め込まれた悪意ある指示に従って、顧客情報を許可されていない外部の送信先に送ろうとしたとしよう。

　このような攻撃は、外部の文書やデータなどに悪意ある指示を埋め込み、AIの動作を誘導する「プロンプトインジェクション」の一例だ。

　NVIDIAによると、この場合、AIエージェントが不正な指示に従ってしまったとしても、ネットワークポリシーによってデータの送信を遮断できる必要がある。また、AIエージェントがどのツールを使用し、どこにデータを送ろうとしたのか、アクセス許可の判定とその結果をログに記録することも重要だという。

　そもそも、顧客情報を更新する権限を持っているからといって、その情報を外部に送信する権限まで与える必要はない。AIエージェントが追加の権限を要求することはできても、自らその権限を承認できない仕組みが必要になる。

　AIエージェントのセキュリティを考える上では、AIモデルだけでなく、ツールやワークフローを管理する仕組み、実際に処理を実行する環境まで含めた対策が欠かせないとNVIDIAは説明している。

AIエージェントの安全性を確保するための設計原則

　では、企業がAIエージェントを導入する際、具体的に何を考慮すればよいのか。NVIDIAは、AIエージェントが誤った判断をしてもセキュリティ上の制約が機能するよう、次のような対策が必要だとしている。

• 各エージェントに追跡可能なIDを与え、認証情報は割り当てたタスクに必要な範囲に限る
• アクセスできる情報、変更できるシステム、承認が必要な行動をポリシーで明確にする
• ポリシーの範囲内であっても、影響の大きい行動と権限の変更には人間の承認を求める
• エージェントが使うツール、スキル、依存関係の出どころと完全性を検証する
• ツール呼び出し、認可の判断、結果を保護された記録として残し、アクセスの取り消しとインシデントの封じ込めの手順を明確にする

　NVIDIAは、こうした仕組みを実現する技術の一例として、オープンソースの実行環境「NVIDIA OpenShell」を挙げる。OpenShellは、AIエージェントをサンドボックス環境で実行し、データやネットワーク、システムリソースへのアクセスを制御する。AIエージェント自身が変更できない場所でポリシーを適用する仕組みを備える。

導入前のテストだけでは不十分　何を検証すべきか

　NVIDIAがもう一つ重視しているのが、セキュリティ対策が実際に機能することを検証する取り組みだ。NVIDIAは、AIエージェントの本番導入前に、少なくとも次のような状況を想定したテストが必要だとしている。

• AIエージェントが、許可された範囲を超えて認証情報を取得しようとした場合
• 機密情報を許可されていない送信先に送ろうとした場合
• 自らのアクセス権限を変更しようとした場合
• 監視の仕組みに干渉しようとした場合

　テスト結果を評価して本番導入の可否を判断する責任者を明確にし、問題が見つかった場合には修正につなげることも求められる。

AIセキュリティは「モデルの問題」ではなく「システム設計の問題」

　NVIDIAは、AIセキュリティをエンジニアリングの課題として捉えるべきだと強調する。必要なのは、明確なセキュリティ要件、実際に強制できる制御、責任者、そして対策が機能することを示す検証結果だ。

　AIエージェントの利用が広がる中、企業に求められるのは、AIに何を指示するかだけでなく、AIに何を実行させ、何を実行させないかを明確にすることだ。AIエージェントの判断とは独立したアクセス制御と、その有効性を継続的に検証する仕組みが、安全な運用の前提となる。