検索
ニュース

「危険コマンド停止率、AIは89%、人間だと14%」 Claude Codeが「自動モード」をデフォルトにした理由「有害な操作」の承認は、手動の方が2倍多い(2/2 ページ)

Anthropicは「Claude Code」のデフォルトモードを、都度承認から「自動」に切り替える。1053人を対象にした対照実験では、危険なコマンドを検知した割合が人のレビューを大きく上回ったという。

Share
Tweet
LINE
Hatena
前のページへ |       

自動モードではプロンプトインジェクション攻撃が全て失敗

 Anthropicは第三者のTrajectory Labsにプロンプトインジェクション(外部から不正な指示を紛れ込ませる攻撃)の評価も委託した。2026年7月17日時点で公開されていた「Claude Code v2.1.205」と「Codex v0.144.5」で、Anthropicには開示されていない72件の間接的なシナリオを10回ずつ試した。攻撃は「Claude Opus 4.7」に最適化されており、同モデルは評価対象に含まれないので、全てのモデルが未知の攻撃として受けたことになる。


プロンプトインジェクション攻撃の成功率(提供:Anthropic

 自動モードで動作する「Claude Fable 5」「Opus 5」「Sonnet 5」に対しては、720回の攻撃が1件も成功しなかった。Codexの「自動レビュー」モードで動作する「GPT-5.6 Sol」では5.83%が成功し、「フルアクセス」モードでは19.03%だった。前者は、追加の保護なしで「権限をバイパス」モードで動作させたAnthropicの最新モデルの平均攻撃成功率0.09%より高い。実行時の推論レベルはGPT-5.6 Solが「max」、Claudeの各モデルが「high」だった。

 両者は同一のWebブラウザ連携機能で評価されており、OpenAIやAnthropicが提供するChrome拡張機能などの保護機能はテストされていない。この結果は特定の製品の保護機能一式ではなく、基盤となるモデルの性能を測ったものとみるべきだとAnthropicは説明している。

Anthropic社内で防いだ3件の操作

 自動モードはAnthropic社内のClaude Code利用でもデフォルトになっている。分類器が止めた操作は次の3件で、いずれも実行前に検知された。

  • 社内ドライブへのアップロードに失敗したClaudeが同じレポートを公開のコード共有サイトに載せようとしたデータ流出
  • 約2000のポッドにまたがるプロセスの一括終了と、数百基のGPUで実行中の学習ジョブを停止させかねない削除処理
  • 読み取り専用の請求権限を求められたClaudeがアカウントのルートの完全な管理権限を持つロールを使おうとした権限昇格

自動モードの安全性を高めるための機能強化

 Anthropicは、自動モードの安全性を高める機能も継続して追加しているという。

  • 危険な操作の強制拒否
    コードやシークレット(認証情報や秘密鍵)の外部送信など、データ漏えいにつながる操作は分類器が承認しない。組織独自の拒否ルールも設定できる
  • データのアクセスと共有先の検査
    シークレットや機密情報の扱いをルール化し、「git push」コマンドやプルリクエスト(PR)の送信先が公開/非公開/信頼済みのいずれかを確認して、不適切な外部送信を防ぐ
  • 破壊的なGit操作を事前確認
    「git reset --hard」コマンドなどを実行する前に、リポジトリの状態を確認し、未コミットの作業が失われるリスクを判断する
  • プロンプトインジェクション対策
    Webページやファイル、ツール出力など外部から取得した内容をAPI側で検査し、悪意ある指示を検出した場合はClaudeのコンテキストに警告を追加する

モードの切り替え方

 モードの切り替えは、CLIでは[Shift]+[Tab]キー、デスクトップアプリではモードのドロップダウンで行う。TeamsとEnterpriseプランでは、管理者は管理設定の「defaultMode」で組織全体のデフォルトモードを固定でき、「disableAutoMode」で自動モードを完全に無効にできる。

 「Claude Enterprise」「Claude API」「Claude Platform on AWS」「Amazon Bedrock」「Google Cloud」のAgent Platform、「Microsoft Foundry」では、管理者が内容を確認する時間を設けるために当面はオプトインとなる。Anthropicはクラウド各社と連携して1カ月以内にデフォルトモードを「自動」に切り替える方針としていた。

 Anthropicは、自動モードは大半のユーザーのリスクを減らすが、分類の仕組みに依存する異常リスクをなくすものではないとしている。本番環境のインフラに関わる重要な変更については、人間がClaudeの操作を確認することを引き続き推奨している。

Copyright © ITmedia, Inc. All Rights Reserved.

前のページへ |       
ページトップに戻る