暴走するAIエージェントにどう気づくか 挙動の異常を捉える「ABA」という新しい行動分析：“ガードレール破り”に気づくには

生成AIの活用が一問一答の「対話」からタスクを自律処理する「AIエージェント」へ移行しているが、ガードレールを過信するのは危険だ。AIエージェントの暴走や乗っ取りに気づき、新たな内部脅威から自社を守るための対策とは。

[PR／＠IT]

　AIが急速に進化する中、AI利用形態はLLM（大規模言語モデル）を活用したチャット（対話）型から、AIエージェントによる業務の自動化へ移り変わりつつある。そうした中、社員が独自にAIエージェントの開発や運用を始めているケースもあり、ガバナンスやセキュリティの問題が生じているケースも見受けられる。

　こうした状況を受けて、セキュリティベンダーはAIエージェントの稼働状況の把握やセキュリティ強化のためのツールを提供している。中でも先進的な取り組みを推進する企業は、社員と同様にAIエージェントを「ファイアウォールなどセキュリティ施策の“内側”で業務を実行するもの」と位置付けて、誤作動や不正操作のリスクも前提とした運用を想定している。

AIセキュリティの難しさと解決策

　AIにはさまざまなセキュリティリスクが指摘されている。LLMに関しては、プロンプトインジェクションをはじめとする情報漏えいや、ハルシネーションと言われる誤回答が主な問題だ。しかしAIエージェントが実用段階に入ったことで、企業にとって有害な処理を実行されてしまうリスクも浮上してきた。

視点の転換：AIエージェントは、新たな内部脅威である（提供：Exabeam）《クリックで拡大》

　AIエージェントに対する攻撃でも、LLMから機密情報を抜き取る場合と同様にプロンプトインジェクションが主要な手法として用いられる。AIモデルの提供者はガードレールを強化して悪用を阻止しようとするが、OWASP Gen AI Security Project 創設者・共同議長でExabeamのChief AI Officerを務めるスティーブ・ウィルソン氏は「AI専門家の間ではプロンプトインジェクションを防ぐことは不可能だと見られており、ガードレールは重要な防御層だ。しかし、それだけでAIエージェントのリスクを管理できると考えるべきではない」と指摘する。

Exabeamのスティーブ・ウィルソン氏

　ウィルソン氏は、映画『2001年宇宙の旅』で描かれた宇宙船制御用AIシステム「HAL9000」の悲劇（※1）は「もはやSFではなく、クラウドで起こりうる現実だ」と語る。同氏はAmazon Web Services（AWS）の内部で利用されていたAIエージェントの不具合によってサービスダウンが生じた例（※2）を挙げて、「AIエージェントが不適切な挙動を起こすことで多大な損害が生じるリスクが現実化している」と警告する。

※1矛盾した命令によって精神的な破綻を起こした。
※2 Amazon service was taken down by AI coding botを参照

　業務に利用しているAIエージェントが不具合を起こしたり、不正な指示によって破壊的な操作をしたりするリスクが考えられる中、被害を防ぐための取り組みが出てきている。ExabeamはUEBAをAIエージェントに拡張した新たな概念「ABA」（Agent Behavior Analytics）を提唱して、AIエージェントにも対応している。

AIエージェントの事前検証とモニタリング

解決策：エージェントの実行前検証＆実行後の振る舞い監視（提供：Exabeam）《クリックで拡大》

　一般的に人材の流動性が高い米国企業では、新しい社員が入ってきた際にオンボーディングというプロセスが準備されている。社内手続きといった説明はもちろん、業務で使用するPCを企業が用意して、社内で標準的に利用するアプリケーションやセキュリティツールをインストールして渡す。この際に、社内不正を防ぐツールも導入して、不正な操作を未然にブロックする体制を整えている。

　ウィルソン氏は「AIエージェントも社員と同じように業務を遂行するため、社員と同じようなオンボーディングのプロセスが必要」と説明する。AIエージェントに任せる作業をあらかじめ明確化して、それ以外の処理を実施しないよう制御するということだ。

　ExabeamはAgent Behavior Verification（ABV）の考え方を実践するオープンソースプロジェクト「Praxen」を公開した。AIエージェントが設計通り、想定通りの動作だけを正しく行うかを検証する。

　では、なぜAIエージェントにも事前検証、いわばオンボーディングが必要なのか。Praxenを公開するきっかけになった出来事として、ウィルソン氏は自身が2026年初頭に開発したAIエージェントのエピソードを紹介した。2026年初頭、ウィルソン氏は、秘書的な業務を遂行するパーソナルアシスタントとなるAIエージェントを開発。業務上必要な個人情報へのアクセスを許可すると同時に、セキュリティ専門家としてこうした情報が漏れないようにセキュリティ機能を実装した。

　やがて、ExabeamのCISO（最高情報セキュリティ責任者）から「同社内のホワイトハッカーによるペネトレーションテストチームに、このAIエージェントのセキュリティ機能を確認させてみたい」との提案を受けた。ウィルソン氏は「万全の対策を施してあるから問題ない」と思って提案を了承したところ、翌朝には厳重に防御されていたはずの同氏の個人情報が全て抜き出されていたという。

　この結果からウィルソン氏は「AIエージェントの設計と実装は別ものであり、設計者が思いもよらなかったセキュリティホールができてしまうリスクがある」ことを学び、こうした事態を防ぐための検証ツールとしてPraxenをリリースしたと話す。

　PraxenはAIエージェントのコードを事前に解析して、本来の目的を超えた過剰な権限やセキュリティ上の脆弱性がないかを検証する。Praxenでの事前検証が、いわばAIエージェントへのオンボーディングになり、プロセスを経ることでAIエージェントを安心して業務に就かせられる。

　2026年6月にPraxenはオープンソースソフトウェア（OSS）としてリリースされ、既に利用実績も出ている。医療機関向けにAIインフラ管理ツールを提供する米MedigramはPraxenを採用したその一社だ。コンプライアンス（法令順守）が重視され、誤動作が許容されない医療分野でAIを利用するためにPraxenを採用している。

　Exabeamは、AIエージェントを構成するLLMやエージェントフレームワーク、各種ツールやガードレールからテレメトリーデータを収集し、SIEMを通じて解析するABAツールも投入している。プロンプトインジェクションによってAIエージェントが誤動作を起こす場合、プロンプトの内容が不適切だと判断して実行を阻止するのは時間的に間に合わないが、AIエージェントがどのような動作を実施したのかを解析することで被害拡大を防ぐ対応が可能になる。

Exabeamが提供するさまざまなセキュリティ機能（提供：Exabeam）《クリックで拡大》

　ウィルソン氏はAIエージェントが外部からの攻撃によって不正な動作をする可能性は否定できないとするものの、そこにはある程度のタイムラグがあり、瞬時に乗っ取られるわけではないという。同氏はこの状況を「ドリフティング」（Drifting）と表現し、「AIエージェントが少しずつ正常な挙動から逸脱することになり、それを可視化し、逸脱を早期に捉え被害を阻止することが可能だ」と述べる。

AIエージェントを内部脅威として位置付ける

　ABAツールの価値について、ウィルソン氏は「AIエージェントの動作として何が正しいのかをあらかじめ把握することで、異常な動作を検出できる。通常は請求書の処理を実行していたAIエージェントが突然人事データベースにアクセスしたら、これは極めて怪しいと判断できる」と語る。

　AIエージェントは可視性を高めるためのツールが段階的に投入され始め、ユーザー企業にもセキュリティリスクへの認知が広がりつつある。だが、AIエージェントを内部脅威と明確に位置付けて、不正な行為をしないように対策を講じるべきだというExabeamの主張は一歩進んだものだと言える。

　AIエージェントの利用拡大に伴い、可視性を高めるためのツールは増えつつある。しかし、AIエージェントを単なるシステムとしてではなく、企業内部で自律的に行動する存在として捉え、その振る舞い自体を分析しようという発想はまだ新しい。

　AIエージェントは、もはや単なるソフトウェアではない。企業の代わりに判断し、行動する“新たな従業員”になりつつある。そのリスク管理においても、アクセス制御やガードレールだけでなく、行動の逸脱に気づくための行動インテリジェンスが重要になっていくだろう。