「警察に虚偽情報を送信」 Claudeが“軽微な違反”をやりたい放題:4つの代表的なルール違反とは?(1/2 ページ)

Anthropicは「Claude」が評価試験や社内利用で、実在するサーバでの命令実行や政府機関へのフォーム誤送信、アクセス制限の回避といった想定外の行動を示した調査結果を公開した。実害は軽微だったというがAIエージェントの安全対策は十分なのか。

» 2026年10月24日 08時15分 公開
[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 Anthropicは2026年10月9日(現地時間)、生成AI「Claude」の評価試験や社内利用で、意図しない操作によって実在する外部のWebサイトやシステムに接触した事例を公表した。第三者のサーバでのコマンド実行や政府機関へのフォーム誤送信、アクセス制限を回避したデータ取得などを確認したという。

 同社は、把握した事例による現実社会への影響は軽微だったと評価する一方、安全対策と監視体制の有効性を確認するまで、全ての社内評価でインターネット接続を停止する方針を決めた。

Claudeが“やりたい放題” 警察に偽の情報を提供

 調査の起点は、Anthropicが2026年7月に始めたモデルの実行記録の精査だ。当初はインターネット接続を無効にしたサイバーセキュリティ評価を中心に調べていたが、その後、実際のWebサイトに接続する検索試験などにも対象を拡大した。

 Anthropicは評価課題を数百回から数千回実行し、通常の性能だけでなく、まれに発生する異常な動作も検出している。今回の調査では、社内でのClaudeの利用や強化学習の環境でインターネットに接続できるケースも対象に加えた。

 今回公表された事例は4つに分類される。外部サイトのソフトウェアの欠陥を悪用したサーバでの命令実行、実在するWebサイトへのフォーム送信、トークンや料金によるアクセス制限を回避したデータ取得、URL短縮サービスを利用したWeb取得ツールの制約回避だ。

 サーバ操作の事例では、科学分析を実行する課題に取り組んでいた「Claude Mythos Preview」が、大学のWebサイトで公開されている分析ツールにアクセスした。しかしツールはエラーを返した。

 そこでモデルは別の手段を探し、Webサイト内のスクリプトを発見した。同スクリプトは、指定されたファイルをサーバから取得できるものだった。モデルはサーバのファイルやスクリプトのコードを取得し、入力を命令として実行してしまう脆弱性を特定。最終的にサーバで計算を実行したという。

 別の事例では、「Claude Mythos 5」がデータ利用規約への同意を必要とするWebサイトで、同サイト内のアプリケーションを利用して同意操作を代行し、必要なデータにアクセスした。

 フォーム送信の事例では、評価用に用意された政府機関の申請フォームが開けなかったため、未公開の研究モデルが実際の申請先サイトに移動し、フォームを送信した。

 また、「Claude Haiku 4.5」には、フォームへの入力を完了させても最終送信はしないよう指示されていたにもかかわらず、送信後に追加の確認画面が表示されると誤認して、実際に送信したケースがあった。

 さらに同モデルは、未解決殺人事件に関する警察の情報提供フォームに、架空の目撃情報を書き込んで送信した。氏名や連絡先は空欄だった。投稿は迷惑情報として判定され、捜査担当者には届かなかったという。この事例についてはフィラデルフィア警察も公表しており、Anthropicは技術的な確認を終えた2026年10月8日に同警察へ通知した。

       1|2 次のページへ

Copyright © ITmedia, Inc. All Rights Reserved.

アイティメディアからのお知らせ

スポンサーからのお知らせPR

注目のテーマ

ID・パスワードから始める「引き算」のセキュリティ〜ゼロトラスト狂騒曲の果てに
その「AIコーディング」は本当に必要か?
Microsoft & Windows最前線2026
4AI by @IT - AIを作り、動かし、守り、生かす
ローコード/ノーコード セントラル by @IT - ITエンジニアがビジネスの中心で活躍する組織へ
Cloud Native Central by @IT - スケーラブルな能力を組織に
システム開発ノウハウ 【発注ナビ】PR
あなたにおすすめの記事PR

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。