AIエージェントが「トクリュウ」化？ 目的達成のために手段を選ばず：OpenAIが“暴走”の調査結果を公表

OpenAIは評価環境内のAIエージェントが第三者システムに侵入した事案について調査結果を公表した。調査によると、複数のAIエージェントはチームを組み、役割を分担し、目的達成のために手段を選ばずに攻撃を実行したという。

[＠IT]

　OpenAIは2026年8月26日（現地時間）、同年7月に発生した「Hugging Face」への侵入事案について、技術的な詳細と調査結果を公表した。

　同侵入事案では、内部のサイバーセキュリティ評価環境において、「GPT-5.6 Sol」と同等規模の社内研究モデル「IM1」が、想定されたサンドボックスの制御を回避し、インターネットにアクセス。AIエージェント同士で独自に情報を共有し、第三者システム（Hugging Face）に侵入したという。

　発端となったのは、AIエージェントが評価環境内のJFrogのバイナリマネジャー「JFrog Artifactory」を、メッセージボードとして利用し始めたことだった。本来、AIエージェント同士の通信は制限されていたが、ファイルやディレクトリ名などを介して情報を共有。さらにArtifactoryを経由してインターネットへアクセスする方法も発見し、その手法を他のAIエージェントに伝えていた。

　その後、AIエージェントは公開されていたHugging Faceの認証情報を発見。複数の脆弱（ぜいじゃく）性を組み合わせてHugging Faceのサーバでコード実行に至り、一部ではroot権限を取得した。限定的ながら非公開データや社内メッセージング基盤の認証情報にもアクセスしたという。

AIエージェントはどうやって「外」に出たのか？

　OpenAIの調査結果によると、今回の事案では「報酬ハッキング」「困難な課題への過度な固執」「許可されていない通信」「他のAIエージェントから目的を引き継ぐ」といった複数の要因が重なっていたことが判明した。特に重要なのが、AIエージェントが「解けないなら諦める」という選択をほとんど取らず、評価を成功させるために次第にリスクの高い手段に進んでいった点だ。

　さらに興味深いのは、AIエージェント同士の「勝手な協力」だ。メッセージボードでは、あるAIエージェントが脆弱性を探し、別のAIエージェントが認証情報を探すなど、役割分担が自然発生していた。中には第三者のシステムを攻撃することに疑問を示すAIエージェントもいたが、別のAIエージェントから「GO」と指示されると、その判断を覆して攻撃を続けたケースも確認されている。

　同事案で開発者が最も重く受け止めるべきなのは、AIエージェントが単一の脆弱性を突いたことではない。複数の弱点や認証情報、外部サービス、AIエージェント同士の通信を組み合わせ、当初想定されていなかった攻撃経路を自ら構築したことだ。

　OpenAIは「今回の評価環境では実運用モデルに適用しているシステムプロンプトやハーネスなどの保護機構を十分に適用していなかった」と説明している。振り返って実験したところ、本番向けのハーネスとシステムプロンプトを利用することで、インフラを侵害する傾向は100分の1以下になったという。また、現在のCoTモニタリングを当時導入していれば、Hugging Face侵入の1日以上前に初期兆候を検知できたとしている。

　AIエージェントの開発者にとって、これは重要な示唆だ。AIエージェントに「このAPIだけ使える」「このコンテナから出られない」と権限境界を設定するだけでは不十分で、その境界そのものをAIが探索し、突破しようとすることを前提にしなければならない。

　OpenAIは今後、より強固なワークロード分離やネットワーク分離、継続的なセキュリティテストを進める他、一定以上の能力を持つモデルによるツール利用型の学習・評価ではCoTモニタリングを必須化する。危険な挙動を検知した場合には自動で活動を停止する仕組みも目指すとしている。

編集部の目：AIエージェントは「トクリュウ」化する？

　今回の事案はAIエージェント同士が「チーム」を組んで、役割分担して課題の解決を図ったという点が非常に興味深い。特にあるAIエージェントが攻撃に疑問を覚えても、他のAIエージェントから指示されたら攻撃を継続してしまったところなど人間の行動とまるっきり一緒だ。

　また、極端な目的遂行も特徴的だ。目的だけ与えれば、その達成方法を自ら探索するのがAIエージェントの利点だろう。だが裏を返せば、開発者側が「この方法は禁止」と細かくルールを積み重ねても、目的達成のために別ルートを探す可能性があるということだ。

　今回のAIエージェントの動きを人間の集団に例えるなら「トクリュウ」に近いのかもしれない。あらかじめ固定された組織があるわけではなく、目的を軸に集まり、それぞれが役割を担い、必要な情報や手段を融通しながら目的達成を目指す。しかも、誰か一人が全体を指揮しているとは限らない。

　厄介なのは、個々のAIが全ての能力を持っていたわけではないことだ。あるAIが脆弱性を探し、別のAIが認証情報を探す。そして見つかった情報を共有し、別のAIが次の行動につなげる。結果として、単体ではできなかったことを「チーム」として実現してしまう。

　OpenAIは同事案を「warning shot」と表現し、AI開発企業だけでなく業界全体への警告だと位置付けている。今後、同程度の能力を持つモデルが広く利用可能になれば、攻撃者側もAIエージェントを使い、従来の人間による攻撃より高速かつ大規模に偵察、脆弱性探索、認証情報の収集、侵入を進める可能性がある。

　開発者にとって同事件が突き付ける問いは、「AIに何をさせるか」ではなく、AIが目的達成のために自分で何を始める可能性があるか、そしてそれをどこで止めるかなのかもしれない。