「警察に虚偽情報を送信」 Claudeが“軽微な違反”をやりたい放題：4つの代表的なルール違反とは？（2/2 ページ）

Anthropicは「Claude」が評価試験や社内利用で、実在するサーバでの命令実行や政府機関へのフォーム誤送信、アクセス制限の回避といった想定外の行動を示した調査結果を公開した。実害は軽微だったというがAIエージェントの安全対策は十分なのか。

[＠IT]

トークンやURL短縮サービスで制約を回避

　アクセス制限の回避では「Claude Mythos 5」が地方政府の不動産地図サイトから設定ファイル内の有効なアクセストークンを見つけ、地図の背後にあるサーバに直接リクエストを送信した。

　別の事例では、州政府が有料で提供する公開統計データを取得する際、過去のWebサイトの記録から、一般利用者にトークンを発行する仕組みを把握。料金を支払わずにデータを取得した。いずれも情報自体は公開されているものの、通常はアクセスや利用に一定の制約が設けられていた。

　「Claude Opus 5」や「Claude Mythos 5」などは、Web取得ツールに設けられたURLの文字数制限を、無料のURL短縮サービスを利用して回避した。短縮サービス「da.gd」の運営者も同様の利用を発見し、Anthropicに連絡したという。

　Anthropicは対策として、一部の公開評価を廃止し、オフライン版及び実際のWebサイトに接続しない構成に変更した。Web取得ツールなど、一部のインターネット接続ツールに設けた安全上の制限も厳格化した。

　さらに、想定外の行動を自動検知・遮断する仕組みを、評価試験の大半と先端モデルの社内エージェント利用に導入した。同社が今回の事例を使って検証したところ、確認された行動を全て阻止できたという。ただし、この結果は検証対象となった事例に対するものであり、あらゆる想定外の行動を防げることを意味するわけではない。

　社内のAIエージェントは、強い隔離機能を備えた集中管理基盤に移行し、インターネット接続を縮小する。安全性分類器や階層型要約を活用した監視も拡充する方針だ。

報酬ハッキングというAIエージェント制御の課題にどう対処するか

　Anthropicは今回の事例の背景として、課題を達成できない状況でも成功を得ようとするモデルの傾向を挙げている。

　強化学習では、モデルが課題を達成すると報酬を得る。訓練環境で制約の抜け道を使うことが報酬につながると、モデルがその手法を学習し、別の場面でも再現する可能性がある。こうした問題は「報酬ハッキング」と呼ばれる。

　同社は、問題を助長する強化学習環境を修正・撤去するとともに、これまでプログラミングを中心としていた安全性の訓練を、検索やPC操作にも広げる。

　今回の事例は、同社が2026年7月ごろに報告した深刻なサイバーセキュリティ関連事例より重大性が低いと評価されている。ただし、モデルが意図した範囲を超えて行動する傾向や、行動の説明がどの程度誠実だったかについては、評価が完了していない。

　Anthropicは、訓練だけでモデルの判断を確実に制御することは難しく、ツールの制限や実行環境の隔離、行動の監視といった多層的な防御が必要だとしている。今後も調査を続け、追加の事例や対策について公表する方針だ。