Googleは社内のエージェントを「脅威」と見なす――なぜ「AIを信じない」のか？：AIが社内システムを壊す？（1/2 ページ）

Google DeepMindは、社内で運用するAIエージェント向けの「AI制御ロードマップ」を公開した。AIエージェントを内部脅威と見なし、従来対策に加え、「AI同士の監視」「リアルタイム遮断」を実装し、意図しない暴走からシステムを保護する取り組みだ。「AIを信じないことから始める」という、多層防御の中身とは。

[＠IT]

　AIモデルの進化に伴い、自律的に複雑なタスクを実行するAIエージェントが高度化し、サイバー防御から製品開発に至るまで、ビジネス遂行の手段として急速に普及しつつある。米国のみでも「2030年までに2.9兆ドルの経済効果を生み出す」と予測されるなど、AIは企業とテクノロジーの関わり方を大きく変えようとしている。

　だが、AIエージェントがシステムへのアクセス権限を持つにつれて、「より高度な安全対策（セーフガード）が必要だ」という指摘も増えている。AIを安全で役立つように訓練する「モデルのアラインメント」に注力しても、アラインメントが不確実なケースや、ユーザーの目標・指示を達成しようとするAI自身の「過剰な意欲」による悪影響を完全に防ぐことは難しい。

　こうした背景の下、Google DeepMindが公式ブログで、自社内で運用する高度なAIエージェントを安全に管理するための「AI制御ロードマップ」を公開した。「社内のAIエージェントを信じない」ことから始める多層防御の取り組みだ。

なぜGoogleは社内AIエージェントを「内部脅威」と見なすのか

　Google DeepMindのアプローチは、サンドボックス化、エンドポイントセキュリティ、プロンプトインジェクション耐性といった従来型の防御策を土台とし、AIを本質的に安全かつ有用にする「モデルのアラインメント」を一次防御として位置付ける。

　一方、社内のAIエージェントを「潜在的にアラインメントが取れていない存在」として扱うことで、アラインメントが不完全な場合でも安全性を確保する追加のセキュリティレイヤーを設けている。

　Google DeepMindはこれを「補助操作装置を備えた自動車教習所の指導員」に例えている。指導員は生徒を信頼しつつも、ミスが起きればいつでもハンドルやブレーキを操作できるよう待機しているのと同じ考え方だ。

　これと同様に、AI制御システムは最初から全権限を与えることはしない。安全性が確認された挙動に限定して権限を与え、監視下で段階的にアクセス範囲を広げていくことで、徐々にAIへの信頼を構築していくアプローチを採っている。