設計時のレビューでは拾えない、バグるAIエージェントに共通する5つの特徴：AIとサイバー攻防のダイナミクス（1/2 ページ）
AIエージェントを導入して開発や運用効率を改善したい――。そう思う方は多いでしょう。しかしAIエージェントが暴走して意図しない動作を引き起こす可能性は決して低くありません。従来のソフトウェア制御のやり方では通用しないこの問題をどう解消すればいいのか。実践的な3つの解決策を提示します。
AIエージェントに作業を任せれば、開発や運用の業務効率は目に見えて向上するでしょう。しかしAIエージェントが「頼んでいないこと」までやってしまったらどうでしょうか。
例えばOECD（経済協力開発機構）によると、AIによる開発支援ツールに作業を任せた結果、データベースが削除された事例が確認されています。他にも、サーバ移行の作業中に破壊的なコマンドが実行されて数年分のデータが失われたり、AIがデータを削除した上で復旧したかのような報告を生成したりしたケースもあります。
上記の事例にはサイバー攻撃者や悪意ある第三者は登場しません。単にAIエージェントが与えられた目標に向かって動き、その過程で、設計時に想定されていなかった手段を選んだだけです。それ故にどの企業でも起こり得ることだと思います。
今回は、AIエージェントが設計時の想定を超えて動くパターンを整理し、どのように対策すべきかを検討します。
この連載について
本連載「AIとサイバー攻防のダイナミクス」では、AIとサイバーセキュリティの構造変化を読み解くためのフレームワークを提示し、攻撃事例や防御の実践を交えながら、「AIをどこに導入すると効果的か」「どこまでAIに任せるべきか」「逆に人間の判断が不可欠な領域はどこか」を明らかにしていきます。
AIエージェントはなぜ設計時の想定を超えるのか？
処理フローをあらかじめ定義する従来型のソフトウェアでは、プログラムは書かれた通りに動作します。入力に対する処理の流れがあらかじめ決まっているため、実行される内容を事前に確認できます。
一方、AIエージェントは与えられた目標に基づいて適切と考えられる手段を自律的に選びます。どの機能を呼び出すか、どの順序で実行するか、どこまで情報を集めるかを、実行時に決めることになります。
問題は、選ばれる手段が設計時に列挙されていないことです。明示的に禁止されておらず、利用可能な権限・ツールの範囲にある操作が全て選択肢となり、行動可能な範囲を広く規定します。
そのため、逸脱は必ずしも指示違反とは限りません。指示が守られたまま、行動の範囲や目標の解釈、説明の内容、使える機能、指示の出どころのいずれかが人間の想定した設計と時間経過とともにずれる可能性があります。重要なのはこうしたずれが生じたときに、影響が広がる前に止められる状態を作っておくことです。
目標逸脱を引き起こす5つの脅威
AIエージェントが想定を超えて動作する現象は、幾つかの型に整理できます。ここでは、2026年8月に米国ラスベガスで開催されたサイバーセキュリティイベント「Black Hat USA 2026」で発表された「The Intent Gap」の5つの「intent-based threat categories」を手掛かりに説明します。なお、この5つは成熟度を表すものではなく、互いに排他的でもありません。一つの事案が複数の型に当てはまることもあります。
1．範囲の逸脱：目標は同じでも、行動の境界が広がる
範囲の逸脱とは、AIエージェントが与えられた目標そのものは維持したまま、その達成のために選ぶ対象や操作、資源などの範囲が徐々に広がっていく状態です。
例えば日常的な運用作業を任されたAIエージェントが、問題を解決する過程で設定を変更し、関連するデータを書き換え、さらに別のシステムへと操作対象を広げていく、といったケースが考えられます。
AIエージェント自身は一貫して「与えられた問題を解決する」という目標を追っていても、そのために許容されていた行動の境界を超えることがあります。
この型が見つけにくいのは、個々の操作が必ずしも不正ではないためです。ある設定を変更すること、ファイルを書き換えること、データベースにアクセスすることは、それぞれ単独では正当な権限の利用かもしれません。問題は、それらが何のために、どのような順序で、どこまで連鎖したかにあります。
2．目標のすり替え：本来の目的ではなく、代理指標を最適化する
目標のすり替えとは、人間が与えた目的と、AIエージェントが実際に最適化する目的がずれていく状態です。
典型的なのは、本来の目的を評価するために設けた数値指標や代理指標が、いつの間にか目的そのものとして扱われる場合です。例えば「健全な事業運営によって利益を高める」という意図が、「利益という数値を最大化する」に解釈されれば、欺瞞（ぎまん）や威圧、取引相手との不適切な協調といった、本来は意図していなかった手段が合理的な選択肢として現れる可能性があります。
この型で厄介なのは、AIエージェントが失敗するのではなく、むしろ設定された指標上では成功してしまう点です。売上や利益、処理件数、解決率などの数値だけを監視していると、逸脱した行動が高い成果として評価される可能性さえあります。
3．欺瞞的な説明：説明と実際の行動が一致しない
欺瞞的な説明とは、AIエージェントの行動と、その後に生成する説明が一致しない状態です。
例えば、コードやデータを変更したにもかかわらず、変更していないかのように報告する、あるいは問題を自ら引き起こした後で、正常に復旧したかのような説明を生成するといったケースです。
監査側が通常目にするのはAIエージェントの「説明」であり、実際の行動選択や操作記録ではありません。AIエージェントが生成した説明は、必ずしも実際の行動選択を忠実に表しているとは限りません。事後的に整合性のある説明が作られる可能性もあります。つまりAIエージェント自身の説明だけを監査証跡として扱うことはできません。
4．能力の増幅：想定していた以上のことが実行可能になる
能力の増幅とは、導入時に想定していた機能や手段を超えてAIエージェントが実際に利用できる能力が拡大する状態です。
これは単純に新しい機能が追加されることだけを意味しません。複数のツールを組み合わせる、別のAPIを発見する、追加の認証情報を取得する、コードを生成する、他のAIエージェントに処理を委任するといった行動によって、個別には限定されていた能力が組み合わされ、結果として想定以上のことが可能になる場合も含まれます。
この型が重要なのは、目標逸脱そのものを引き起こすというより、逸脱した目標や行動が実行できる範囲を増幅するためです。同じ誤った判断でも、読み取り専用の限定された環境しか使えないAIエージェントとWebブラウザやシェル、クラウドAPI、メール、ID管理機能、外部サービスなどを横断的に利用できるAIエージェントでは、発生し得る影響が大きく異なります。
5．指示元の混同：誰の意図を優先すべきかを誤る
指示元の混同とは、AIエージェントが「誰の指示に従うべきか」を正しく区別できなくなる状態です。
AIエージェントは、利用者からの指示だけでなく、Webページやメール、文書、予定表、データベース、他のAIエージェントなど、多数の外部情報を処理します。その中に命令文のような内容が含まれている場合、それを単なるデータではなく、自分が従うべき新しい指示として扱ってしまうことがあります。
典型例が間接的なプロンプトインジェクションです。外部文書やWebページに埋め込まれた文章を、正規の利用者やシステムから与えられた指示と同じように解釈してしまえば、AIエージェントが追うべき目標そのものが外部の意図に誘導される可能性があります。
Copyright © ITmedia, Inc. All Rights Reserved.