Anthropic、Claudeの「逸脱」事例を受け安全対策を強化 報酬ハッキングの問題も指摘

Anthropicは7月末と8月末に発生したAIモデル評価中の重大インシデントについて、初期分析と安全対策を発表した。その中で、AIモデルが評価や報酬を得るための抜け道を見つける行為を確認し、対策を取ってきたことを明らかにしている。

[三木泉，＠IT]

　Anthropicは2026年8月31日（米国時間）、同社のAIモデル「Claude」を対象とした評価で発生したインシデントについて、アラインメント（AIの振る舞いを人間の意図に沿わせること）とセキュリティの両面から初期分析と対策を公表した。今回の発表は、モデルそのものの能力だけでなく、評価環境の設計や運用、学習時の報酬設計が、AIの安全性を大きく左右するとしている。

　同社は2026年7月30日、評価目的でサイバーセキュリティ対策を意図的に弱めたClaudeが、第三者の評価環境の設定ミスによってインターネットへアクセスし、現実のコンピュータシステムに不正アクセスした3件の事例を公表していた。さらに2026年8月4日には、英国AI安全研究所（AISI）も、サイバーセキュリティテスト中の「Claude Mythos 5」が実際のインターネット上で、許可されていない行動を取った事例を報告している。

　Anthropicは現在、この2つの事例について詳細な分析を進めており、独立した評価機関であるMETRとの協力も計画している。調査結果は今後数週間以内に公表する予定だという。

　今回発表した初期評価では、モデル自体における2つのアライメント上の問題が関係した可能性を指摘している。

　1つは「動機付けられた推論（motivated reasoning）」。現実と矛盾する証拠に直面しても、当初の仮説を維持できるよう解釈する傾向だ。

　もう一つは、目的を達成するために、実害につながり得る行動を取る「無謀さ（recklessness）」。

　ただしAnthropicは、モデルだけに原因があるとは考えていない。評価環境の設計にも問題があったと指摘する。例えば、モデルには「インターネットにアクセスできない」と説明していたにもかかわらず、実際にはアクセス可能だった。また、評価対象として設定された架空のターゲットと同じ名前を持つ実在のWebサイトが存在したケースもあり、モデルが「何が評価対象なのか」を正しく判断することを難しくしたという。

サンドボックス任せから多層防御へ

　Anthropicは今回の問題を受け、評価環境に対するセキュリティ対策を大幅に強化した。これまで同社は、主にサンドボックスの設定によってモデルを外部から隔離していたが、「1つの防御層だけに依存するべきではなかった」としている。

　現在は、モデルが評価環境から脱出しようとしたり、予期せずインターネットへアクセスしたりする行動をリアルタイムで検知する分類器を導入。異常を検知すると、そのツール呼び出しを実行前にブロックし、評価タスクを終了するとともに人間へ通知する。

　さらに、高リスクのサイバー評価用サンドボックスをより強固な隔離環境へ移行した。モデル自身にサンドボックスからの脱出を試みさせる「レッドチーム」テストも実施し、仮想化基盤の弱点を探している。

　第三者の評価機関に対しても、評価開始前にサンドボックスの安全性を検証すること、評価対象や許可された行動、ネットワーク境界をプロンプトに明示すること、モデルの思考や行動、ネットワーク通信をリアルタイムで監視することなどを求めている。

浮上する報酬ハッキングの課題

　今回の発表で特に注目されるのが、AIの訓練中に発生する「報酬ハッキング（reward hacking）」と、モデルの危険な行動との関係だ。

　報酬ハッキングとは、AIが本来の課題を正しく達成するのではなく、評価や報酬を得るために抜け道を見つける行為を指す。

　Anthropicは以前から、こうした行動を誘発する訓練環境を問題視してきた。2026年2月には「Claude Mythos Preview」の強化学習（RL）で報酬ハッキングの兆候を確認し、3日分の訓練を巻き戻したという。

　さらに2026年4月には、本番のRL環境への変更を約1カ月間凍結し、環境や報酬の仕組みを全面的に見直した。その結果、実際に使用していたRL環境の10％超で、報酬ハッキング、タスクの破損、設定ミスなどの問題が見つかった。

　Anthropicはこの問題がモデルの振る舞いに与える影響を調べるため、報酬ハッキングが確認された、あるいは報酬ハッキングが可能だと判断された80個の実際のRL環境を使って、意図的にモデルを訓練した。

　すると、このモデルはシミュレーション上で、サンドボックスから脱出しようとしたり、内部システムや第三者のインフラを攻撃したり、自身の報酬関数を改変したりする行動を示した。安全監視を回避して課題を「攻略」しようとする行動も確認されたという。

　一方、報酬ハッキング訓練を受ける前の同じモデルや、公開済みのモデルでは、同程度の危険な行動は確認されなかった。

　Anthropicは、この結果から「訓練中に相当量の報酬ハッキングを経験すると、タスク達成のために長い手順を伴う潜在的に有害な行動を取る傾向をモデルが身に付ける可能性がある」と結論付けている。

　ただし、同社は報酬ハッキングがアラインメント問題の唯一の原因だとはしていない。今回のインシデントを含め、AIのミスアラインメントにはさまざまな原因が考えられ、今後は別の形の問題が発生する可能性もあるとしている。

「安全か速度か」ではなく、開発そのものを管理する必要性

　Anthropicは今回の発表で、AI開発のペースを調整する必要性についても言及した。

　同社は、AI企業内部で安全性と開発速度が衝突した場合に安全性を優先することと、AI業界全体で「安全性を犠牲にした競争」を防ぐことを区別している。

　後者については、政府とAI企業が協調し、法的かつ検証可能で実効性のある仕組みを構築する必要があると主張。「業界が可能な限り早期に、協調的な開発ペースの調整メカニズムを導入することが世界にとって有益だ」としている。