AIは何度も話しかけると“落ちる” ガードレール突破検証で分かった最も安全なLLM：生成AIが抱える根本的な弱点

「Claude」や「ChatGPT」「Gemini」など最新のLLMは強固なガードレールを備えるが、それだけで安心とは言えない。シスコの検証では、対話を重ねるだけで攻撃への耐性が低下するケースも確認された。AIはなぜ意図しない動作をしてしまうのか。攻撃者はその弱点をどう突くのか。

[田渕聖人，＠IT]

　生成AIやLLM（大規模言語モデル）の活用が急速に広がる一方、AIシステムそのものを標的とする新たなセキュリティリスクが現実味を帯び始めている。プロンプトインジェクションやジェイルブレイクは、PoC（概念実証）の段階を超え、一部では実際の攻撃手法として悪用され始めている。

シスコのエイミー・チャン氏（AI脅威インテリジェンスおよびセキュリティリサーチ責任者）

　こうした新しい攻撃には、従来のセキュリティ対策をそのまま適用するだけでは不十分だ。攻撃者はAIシステムをどのように悪用し、何を目的として企業環境への侵入を試みるのか。企業はAIを安全に活用するために何を備えるべきなのか。Cisco Systems（以下、シスコ）でAI脅威インテリジェンスおよびセキュリティリサーチ責任者を務めるエイミー・チャン氏に、AIセキュリティの最前線について話を聞いた。

AIを狙う攻撃は2種類　なぜ今“AIそのもの”が標的になるのか

――シスコにおけるチャン氏の役割と、現在追跡しているAIセキュリティの脅威について教えてください。

チャン氏　私はシスコでAI脅威インテリジェンスおよびセキュリティリサーチチームを率いている。AIがどのような攻撃を受けるのか、あるいはAIが悪用されて他のシステムへの攻撃に利用されるのかを調査・分析し、その結果を製品開発や防御機能の強化に反映している。得られた脅威インテリジェンスは、オープンソースの無償リソースとしても公開している。

　研究対象はAIライフサイクル全体に及ぶ。学習データの投入からAIエージェントの運用、さらにはMCP（Model Context Protocol）を利用した外部システムとの連携まで、あらゆる段階のリスクを分析している。

――AIそのものを狙う攻撃は、まだあまり表面化していない印象があります。本格化しているのでしょうか。

チャン氏　状況によるが、AIを狙う攻撃は2つに分類できる。

　1つ目は、ジェイルブレイクやプロンプトインジェクションによってAIモデルやAIエージェントを意図しない動作に誘導する攻撃だ。目的はAIを悪用し、攻撃を自動化したり、本来認められていない処理を実行させたりすることにある。

　2つ目は、AIモデルや推論基盤、学習パイプラインなどAIシステムそのものを侵害する攻撃だ。

　この種の攻撃がまだ広く表面化していない理由は、技術的な難しさよりも経済性と機会にある。例えば学習データへの毒入りデータの混入（データポイズニング）やモデルの改ざんには、高い権限が必要になるため、多くの攻撃者にとって実行のハードルは高い。

　また、一般的なサイバー犯罪者は短期間で利益を得られる攻撃を優先する。一方、国家支援型など高度な攻撃者は長期間にわたってアクセス権を維持し、諜報活動などを目的とするため、その活動が外部から見えにくいという側面もある。

　さらに懸念しているのは、AIエージェントが社内の電子メールやファイル共有、SaaS、業務システムなど複数のデータソースに接続され、広範な権限を持つケースが増えていることだ。AIのアタックサーフェス（攻撃対象領域）は急速に広がっており、人間と同等、あるいはそれ以上の権限を持つAIが悪用されれば、その影響は極めて大きくなる。

金銭目的だけではない　国家支援型アクターもAIに照準

――AIシステムを書き換えたり侵害したりする攻撃の最終目的は何なのでしょうか。

チャン氏　金銭目的の攻撃は確実に存在する。攻撃チェーンが成立し、収益化できれば、それが攻撃者のゴールになる。一方、国家支援型アクターでは事情が異なる。標的組織への足掛かりの確保やバックドアの設置、スパイ活動を目的とするケースもあり、より高度で複雑な戦術が用いられる。

――金銭を目的としたAIを狙った攻撃は、具体的にどのような流れで進むのでしょうか。

チャン氏　シスコは「AIセキュリティ・安全フレームワーク」を開発している。このフレームワークでは、攻撃者の目的や攻撃テクニック、サブテクニックを体系的に整理している。

　例えば、Metaが提供するAIサポートbotの挙動を悪用し、「Instagram」アカウントの管理権限を不正に取得した事例がある。これはAIモデルそのものを侵害したのではなく、AIを介したサポート機能を悪用して権限を奪取したケースだ。結果として、価値の高いアカウントが乗っ取られ、100万ドルを超える利益につながった。

　私たちはこうした事例を分析し、どの段階で防御すべきかをフレームワークで整理している。

ガードレールは万能ではない　対話を重ねるほど突破されやすくなる理由

――Anthropicの「Claude」やGoogleの「Gemini」など、最近の生成AIは強固なガードレールを備えている印象があります。攻撃者はどうやってこれらを破るのでしょうか。

チャン氏　1回のプロンプト（シングルターン）で危険な出力を引き出そうとしても、多くの場合はガードレールが機能する。

　しかし、実際の利用環境のように会話を何度も続けるマルチターンでは状況が変わる。対話を重ねることでガードレールを回避できる可能性が高まり、攻撃成功率も上昇することが分かっている。

　シスコでは敵対的環境でのモデルの耐性を評価する「LLMセキュリティリーダーボード」を公開している。例えば「Claude Opus 4.5」ではシングルターンの攻撃回避率は約98％だったが、マルチターンでは88.8％まで低下した。またGeminiでもマルチターンでは73.3％まで低下する結果が確認されている。

モデル耐性評価ではClaude関連のモデル高いスコアを獲得している（出典：シスコのLLMセキュリティリーダーボード）

――対話を重ねれば、どのAIモデルでも意図しない回答を引き出せるのでしょうか。

チャン氏　必ず悪意ある行動につながるわけではないが、意図しない応答を引き出せる可能性はある。これはAIの学習構造に起因する本質的な課題だ。AIは人間の意図を常に正しく理解できるわけではない。

　現時点でプロンプトインジェクションを完全に防げるAIモデルは存在しない。

　実際、AIエージェントの検証中には、権限を与えられたAIがユーザーの意図を誤って解釈し、メール受信トレイを一括削除してしまった事例もある。途中でユーザーが停止を指示しても処理を継続したという。

　この事例の本質は、AIが「暴走」したことではなく、人間が削除権限を持つAIエージェントに十分な制御機構を持たせていなかった点にある。企業環境で同様のことが起きれば、影響は極めて大きくなるだろう。

攻撃者はAIをどう使うのか　フロンティアAIが変える攻撃の姿

――フロンティアAIの進化は攻撃者にどのような変化をもたらしますか。

チャン氏　3つある。

　1つ目は、ソーシャルエンジニアリングやディープフェイク、音声フィッシングを大規模かつ高速に展開できるようになることだ。

　2つ目は、AIが攻撃者のスキル不足を補う「フォースマルチプライヤー（戦力倍増器）」として機能し、より高度な攻撃を実行しやすくすることだ。

　3つ目は、標的選定や脆弱性の探索、悪用までの工程が自動化されることだ。

――国家支援型アクターは、ログが残ることを嫌ってAI利用を控えるという見方もあります。

チャン氏　実際にはケースバイケースだ。積極的にAIを利用するグループもあれば、限定的に利用するグループもある。また、自らの正体を隠すために他の攻撃者の手法を模倣するケースもある。

　もう一つ重要なのがオープンウェイトモデルの普及だ。ローカル環境でAIを実行すれば、クラウド側にはプロンプトが送信されない。そのため、外部サービスから利用状況を把握することは難しくなり、ネットワーク通信など限られた情報からしか攻撃を追跡できなくなる。

AIを信頼するほど危ない　企業が見直すべき防御の考え方

――企業が最も警戒すべきシナリオは何でしょうか。

チャン氏　最も危険なのは、高い権限を持つAIエージェントがひそかに悪意ある動作に誘導されることだ。

　こうしたAIは本来信頼されているため異常を検知しにくく、大規模に運用されていれば人間の対応速度を上回るスピードで被害が拡大する可能性がある。場合によっては、元の状態への復旧が極めて困難になるような連鎖的な被害につながることも考えられる。

　だからこそ、AIモデルの安全機能だけに依存してはならない。AIに与える権限を最小限に抑え、継続的なモニタリングと多層防御を組み合わせた包括的なセキュリティフレームワークを構築することが重要だ。

――ありがとうございました。