「善意で暴走するAIエージェント」をどう止める？ AIガバナンスの極意：DellのCSOが力説

AIは“便利な業務支援ツール”の段階を超え、自律的に判断して行動する存在に進化し始めた。その一方で、企業のセキュリティ常識を根底から覆すリスクも浮上している。「善意で暴走するAIエージェント」をどう止めればいいのか。

[鈴木恭子，＠IT]

　AIの急速な普及は、企業のセキュリティ対策を根底から揺さぶっている。その中でも自律的に推論・行動する「エージェント型AI」の台頭は、人間が操作するシステムを前提とした防御モデルを無効化しつつある。

　「AIの台頭で、昨日までプロハッカーの専売特許だった高度なサイバー攻撃が、明日からはド素人でも仕掛けられるようになる」――。そう警鐘を鳴らすのは、Dell Technologies（以下、Dell）でCSO（最高セキュリティ責任者）を務めるジョン・シモーネ氏だ。攻撃側が圧倒的に有利になる時代に、企業はどのように防御策を講じるべきか。同社が2026年5月に米国ラスベガスで開催した「Dell Technologies World 2026」の会場で、話を聞いた。

米国ラスベガスで開催された「Dell Technologies World 2026」の会場。AIをテーマにした展示エリアには、世界中から集まった来場者で連日の賑わいを見せていた（出典：Dell提供資料）

「善意で暴走するAIエージェント」をどう止めればいいのか？

　シモーネ氏は米国防総省（DoD）でサイバーセキュリティ戦略に携わった後、ソニー・ピクチャーズのCISO（最高情報セキュリティ責任者）を経てDellに加わった経歴を持つ。同氏が指摘するのは、サイバー脅威の対象範囲が拡大している現実だ。

DellでCSO（最高セキュリティ責任者）を務めるジョン・シモーネ氏（筆者撮影）

　10〜20年前であれば、本格的なサイバー攻撃の標的は政府機関や国防組織、大手金融機関に限られていた。犯罪者にとって、最大の見返りを得られる相手に資源を集中させる方が合理的だったためだ。しかし、AIが「狙うコスト」を下げた現在、企業規模や業種を問わず、あらゆる組織が標的になっている。

　シモーネ氏は「AIがITシステムにもたらすパワーは、これまで見たことのない規模と洗練度を生み出している。サイバーセキュリティの観点からも同じだ。いかなる組織もこれらのサイバー脅威から免れない」と指摘する。特に「Claude Mythos」のようなエージェント型AIの勢いが増す今、セキュリティはどう変化するのか。

　今回のイベントで最も話題に上ったのがエージェント型AIだ。従来のITシステムでは、アクセスの主体は「人間のユーザー」か「プログラム」のどちらかだった。しかしエージェント型AIはそのどちらにも収まらず、企業固有のデータや知識を参照しながら個々のシステムにアクセスし、自律的に意思決定や業務処理を実行する。

　この特性は、企業にとって新たな内部脅威になり得る。シモーネ氏は「エージェント型AIの本質は『執拗さ（relentlessness）』だ。これはポジティブな面があると同時に、リスクの源泉でもある。エージェント型AIは与えられた目標を達成するために想定外の手段を見つけ出し、予期しない副作用を引き起こす可能性があるからだ」と指摘し、以下のように説明する。

　「例えば、営業支援用のエージェント型AIに『顧客対応速度を最大化する』という目標だけを与えた場合、本来なら人間の確認が必要な不確かな情報も、対応速度を優先するために自動送信する可能性がある。こうした振る舞いは、従来の『悪意ある内部犯行』とは異なり、『善意で暴走しまくる内部者』という新しいリスクを抱えることになる」（シモーネ氏）

　こうしたリスクを解消するための鍵は「ガバナンス」と「ガードレール」の構築だ。シモーネ氏は「エージェント型AIが引き起こすリスクは、（対処の原則という意味では）新たなセキュリティ課題ではない。数十年来のセキュリティのベストプラクティスがそのまま通用する」と語る。

「Dell AI Factory with NVIDIA」のエージェント型AI開発基盤。ポリシー強制とセキュリティ、完全な制御を前面に掲げ、エージェント型AIに「ガードレール」を組み込む思想を体現している（出典：Dell提供資料）

　具体的な対策としてシモーネ氏が重視するのは、ゼロトラストの原則を徹底的に適用することだ。最小権限やデフォルト拒否、例外許可の検討、監査ログ、テレメトリーなど既存のセキュリティ原則をエージェント型AIの行動レベルまで拡張する。

　エージェント型AI導入の順序にも注意が必要だ。シモーネ氏は「高リスクの業務からではなく、まずは低リスク業務から導入すること」とアドバイスする。同時に、人間による検証・監査・監視のプロセスを残し、エージェント型AIには強力なログと、システムの稼働状態や挙動を遠隔から自動的に収集する仕組みを持たせる。「どのデータへアクセスし、どのような判断をし、なぜそのアクションを取ったのか」を追跡可能にすることが重要だ。

　この他、エージェント型AIが意図通りに動いているかどうかを保証する説明責任を持つ人間のカウンターパートを常に配置することも不可欠だ。エージェント型AIは単なるソフトウェアではなく「統治すべき存在」である。従業員と同様にデータへのアクセス権と行動権限を与え、自律性の範囲を人間が管理する必要がある。だからこそ、従来のように境界で一律に遮断する「ゲートキーパー」型ではなく、安全な範囲内で自由に行動できるよう設定する「ガードレール」が必須だとシモーネ氏は力説する。

　一方で同氏はこうしたリスクを理由に、企業がエージェント型AIの導入そのものをためらうべきではないと強調する。「重要なのは利用を止めることではなく、適切なガードレールと説明責任を組み込んだ上で安全に活用することだ」（同氏）

量子時代に問われる「クリプト・アジリティ」の重要性

　もう一つ、今後脅威として挙げられるのが量子コンピュータの台頭だ。現在の公開鍵暗号は、将来的に量子コンピュータの計算能力で破られる可能性が指摘されている。その背景にあるのが、「Harvest Now, Decrypt Later（今刈り取って、後で復号する）」（HNDL）と呼ばれる脅威だ。攻撃者が今のうちに暗号化データを盗み出し、量子コンピュータが実用化された段階で解読する手法である。

Dell Technologies World 2026に展示されたEqual1の量子コンピュータ「RacQ」。量子時代は遠い未来の話ではなく、データセンターに入る段階に達しつつある（出典：Dell提供資料）

　この脅威で留意しなければならないのは、「現在の暗号を現実的に破れる規模の量子コンピュータが登場した段階で攻撃が始まるのではない」ことだ。攻撃者は既に、将来価値を持つデータを収集・保存し始めている。シモーネ氏は「企業が懸念しているのは、攻撃者が現在進行形で暗号化されたデータを盗取して一定年数保持し、（量子コンピュータによって）復号能力を得た時に過去にさかのぼって害を及ぼすかもしれないことだ」と語る。長期保存される機密データを扱う金融や医療、防衛、政府機関などにとって、HNDLは既に現実的な経営課題となりつつあるという。

　Dell Technologies World 2026でDellは、「PowerEdge」サーバに「PQC quantum-safe firmware and boot」を搭載すると発表した。これはNIST（国立標準技術研究所）が標準化を進める耐量子暗号アルゴリズムを、ハードウェアのRoot of TrustからBIOS、コード署名にまで適用するものだ。

Dell Technologies World 2026で発表された新世代PowerEdgeサーバ。3つの訴求ポイントの1つに「PQC quantum-safe firmware and boot」を掲げ、耐量子暗号への対応を明示した（出典：Dell提供資料）

　ただし、シモーネ氏はこうした製品導入の前にやるべきことがあると強調する。DellのCEOであるマイケル・デル氏が基調講演で「知らないもの、理解していないものは守れない」と語ったが、これは耐量子暗号戦略にも当てはまる。組織がまず取るべき第一歩は、自組織のどこで暗号が使われているかを把握する「クリプトグラフィック・インベントリ」を実施することだという。

　暗号は家庭用電子機器からデータセンターまで、あらゆるレイヤーに偏在しており、全体像の把握自体が容易ではない。さらに重要になるのが、暗号アルゴリズムを迅速かつ安全に切り替えられる「クリプト・アジリティ（暗号機敏性）」だ。

　シモーネ氏は「業界全体のシステムが必ずしもクリプト・アジリティを前提に設計されているわけではない」と指摘する。量子時代への備えは新しいアルゴリズムへの差し替えではなく、自組織が暗号をどう使っているかを把握し、いつでも変えられる仕組みを持つことが本質的な備えになるとの見解を示した。