Googleは社内のエージェントを「脅威」と見なす――なぜ「AIを信じない」のか？：AIが社内システムを壊す？（2/2 ページ）

[＠IT]

AIの予期しない動作にどう備えるか？　3つの重点領域

　ロードマップでは「高度なAIエージェントが目標と整合せず、予期しない動作をしたらどうするか」という前提に立ち、3つの領域に焦点を当てている。

1．AI向けの脅威モデリング

　サイバーセキュリティのベストプラクティスに従い、AI向けの新たな脅威モデリングフレームワークを開発した。信頼できないAIエージェントを、既にオフィスへのアクセス権を持つ「内部脅威」（インサイダー脅威）、つまり不正を働く可能性のある従業員のように扱う。

　業界標準である敵対者の戦術・技術の知識基盤「MITRE ATT&CK」を基盤とし、潜在的な攻撃をより小さな戦術・技術へと分解する。これによりリスクを体系的に追跡し、被害が生じる前に不審な挙動を検知できる他、防御が機能するかを安全に試すテストも実施できるようになる。

2．AI制御のリスク軽減策の展開

　リスクに対処するための軽減策を展開する。検知では、信頼できる別のAIシステムを「監督者」として用い、稼働中のエージェントの推論・行動・計画を常時レビューして逸脱がないかどうかを確認する。

　予防と対応では、監督者が有害な行動の兆候を捉えた場合、被害が生じる前にその行動をブロックする。

3．性能の継続的な計測

　システムが機能していることを保証するため、カバレッジ、リコール、対応までの時間という3つの指標で性能を常時計測する。

AIの高度化に合わせたセキュリティのスケーリング

　ロードマップでは、AI能力の測定可能なマイルストーンにセキュリティプロトコルを対応付けている。

検知回避能力

　現在は、モデルの思考連鎖（chain-of-thought）を監視しているが、モデルが監視されていることを認識する「監視認識」や、テキストを使わずに推論する「不透明な推論（opaque reasoning）」により、AIが悪意のある推論を隠すようになれば、言語化された推論を監視するだけでは不十分になる。その場合は挙動の分析や、モデルの内部構造の検査が必要になる。

潜在的な被害の大きさ

　リスクが低く、影響を後から元に戻せる操作については、実行後に一定の時間を置いて実行履歴を確認し、問題が発生していた場合は速やかに修復するという方法（非同期対応）で対処できる。

　一方、大規模なサイバー攻撃のような特にリスクの高い行動については、実行前に有害な行動をブロックするリアルタイムの予防（同期対応）へ移行する必要がある。つまり、対応戦略は脅威の深刻度に応じて強化・高度化しなければならない。

　Google DeepMindは、モデルの検知回避能力に応じて検知レベル（D1〜D4）を、攻撃実行能力に応じて予防・対応レベル（R1〜R3）を定め、展開するモデルの能力に基づいてセキュリティ対策を推奨している。

100万件のエージェント軌跡を分析　Gemini Sparkのライブ監視に活用

　Google DeepMindのチームは、コーディングエージェントの軌跡を監視し、人間による確認へとエスカレーションする非同期監視システムの社内プロトタイプを構築した。フラグが立てられた各イベントは、AI制御ロードマップの脅威分類に照らして分類される。

　100万件のコーディングエージェントのタスクを分析した結果、単純なキーワードフィルタリングを超えて、危険性を示す挙動パターンを特定できるようになった。この研究は、常時稼働型のパーソナルAIエージェント「Gemini Spark」のライブ監視の構築に役立っており、意図しないデータ削除のような新たな問題にリアルタイムで対応できるようになっている。

　「重要なのは、フラグが立てられたイベントの大半が、敵対的な意図によるものではなく、エージェントによる誤解や、ユーザーの目標を達成しようとする過剰な意欲から生じている点だ。このような違いを理解することは、安全性およびセキュリティプロトコルの洗練に不可欠だ」と、Google DeepMindは述べている。