ググっても出てこない「サイバー攻撃者のAI活用」のリアル――AI時代の「アタックサーフェス」再定義：ITmedia Security Week 2024 夏

2024年8月30日、アイティメディアが主催するセミナー「ITmedia Security Week 2024 夏」における「アタックサーフェス管理」ゾーンで、多摩大学 ルール形成戦略研究所 客員教授 西尾素己氏が「攻撃者はAIを使ってここを狙う。今知るべき最新攻撃事情」と題して講演した。

[宮田健，＠IT]

　企業・組織ではビジネスにおける活用方法が検討、模索されている生成AI（人工知能）だが、既にサイバー攻撃者は自身の“ビジネス”のために利用している。では、サイバー攻撃のどのフェーズで、どのように利用しているのか。また、生成AIへの攻撃では、具体的にどこを攻撃してくるのか――。その最新情報を、特に「ググっても出てこない」ことを中心に西尾氏は語った。頭の中に入れておくことで“アタックサーフェス”が指すものをアップデートできる講演内容となっていた。

多摩大学 ルール形成戦略研究所 客員教授 西尾素己氏

　現在のサイバー攻撃は“災害”と同じように捉えられつつある。しかし災害との大きな違いは、それを知覚できるかどうかという点にある。特に未知の脆弱（ぜいじゃく）性を悪用したゼロデイ攻撃など、防ぎにくいものもある。

　西尾氏は「アタックサーフェス管理は、攻撃の発生原理を元に防御する部分を管理するものだが、研究者の視点ではこれまでと大きく変わる部分はない。一方で、AIにフォーカスしたアタックサーフェスの管理はあまり情報が公開されていない」と講演を始め、サイバー攻撃の現状を整理する。

日常的にやってくるサイバー攻撃の“今”を認識できているか

　まず西尾氏は、ランサムウェアに関しての最新情報から、アタックサーフェス管理として考慮しておくべき攻撃手法の変化を語る。

　ランサムウェアは日本でも猛威を振るっている攻撃の一つだが、西尾氏によると「一部ではもうランサムは“オワコン”とされている」という。その理由には、身代金を支払うことが“できなくなった”ことがある。身代金の支払いを米国が違法化し、一番の被害者である米国企業が支払わなくなった。これは裏を返すと「これまでならば身代金を支払えばデータを返してくれたが、今は自力で復旧が必要。サイバーレジリエンスが叫ばれるのはこういう背景がある」と西尾氏は指摘する。身代金の推移は平均値、中央値ともに単価が上がっているのは、支払う絶対数が減ったからだ。「この現状を認識してほしい」（西尾氏）

ランサムウェアは支払いを拒否する企業が増えたことで、身代金の金額が増え続けている（西尾氏の講演資料から引用）

　もう1つ、現状を把握するための資料を西尾氏は提示する。ランサムウェアのターゲットは従業員規模11〜1000人の中堅・中小企業がボリュームゾーンだという。とはいえ、1001〜1万人の大企業も割合として大きく、「要するに企業規模は関係がない」（西尾氏）ことが見て取れる。

　もっと重要なのは、ランサムウェアを侵入させる手法の変化だ。最も割合が高いのは「アンノウン」。つまり、デジタルフォレンジックやインシデントレスポンスのプロが分析しても、原因がよく分からないのが実情だ。

フォレンジックした結果、ランサムウェア侵入要因のトップは「分からない」（西尾氏の講演資料から引用）

　この背景には、攻撃者が高度で、特徴があるマルウェアを用いて侵入後の偵察を行うのではなく、PC内に用意されている普遍的で正統な署名を持っており、アンチウイルスツールが“無害”と判定しているOS標準ツールを活用する手法「Living off the Land」（LotL）が使われていることがあるという。このLotLについては、AI時代の新たな“かたち”が確認されているが、詳細は後述する。

　「LotLに対抗するには、EDR（Endpoint Detection and Response）では検知しにくいので、NDR（Network Detection and Response）、XDR（eXtended Detection and Response）、仮想化などの技術を利用したゼロトラストの考え方が必要だ」（西尾氏）

AIはサイバー攻撃の何を変えるのか

　続いて西尾氏は、「報道されないサイバー攻撃者のAI活用のリアル」として、生成AIがサイバー攻撃においてどう活用されていくかを明かす。サイバーキルチェーンのフェーズにおいて「特に武器化、配送・送り込み、そして攻撃、目的の実行にAIが関連する」と指摘する。

AIは、どのサイバー攻撃の、どのフェーズに革命を起こしたのか（西尾氏の講演資料から引用）

AIが「武器化」フェーズを爆速化したことで何が起こるのか

　例えば従来は、熟練した攻撃者が、メモリ空間を意識しつつ、脆弱な処理を行っているプログラムに対して攻撃用シェルコードを埋め込んで任意のコードを実行させる「バッファーオーバーフロー」を引き起こしてきた。この作業を、生成AIは肩代わりする。

バッファーオーバーフローの発生原理（西尾氏の講演資料から引用）

　バッファーオーバーフローは、脆弱な処理を行っているプログラムをいかに高速に見つけるかが武器化の重要なポイントだ。これまで攻撃者は攻撃対象のプログラムに静的解析、動的解析を用いて、難読化されたコードを可読状態に変換して調査していたが、AIは人間の数倍速く解析できる上に、“人間”に対する難読化を解除する必要もない。動的解析もAIはリアルタイムでメモリの動きを解析し、自動化できる。

　さらにAIが得意とするのは、セキュリティパッチを解析することだ。毎月行われるOSのアップデートファイルを解析することで、「何が修正されたか」つまりは脆弱性の詳細を把握できる。旧バージョンにあった脆弱性を的確に突くコードを「AIならば一撃で導ける」（西尾氏）

　つまり、生成AIを用いた攻撃では、解析が高速化したことで誰も見つけていないゼロデイ脆弱性を見つけるスピードの爆速化、さらにはパッチファイルを解析し、パッチ未適用の環境を攻撃するワンデイ攻撃の高速化が、武器化のフェーズで起きていることになる。これまで考えられてきた“脆弱性対策”をアップデートする必要があるのだ。

　「どの企業でもゼロデイ攻撃を受ける可能性が上昇している。さらに、パッチ公開から数時間で攻撃コードが出現することが前提になりつつあるので、パッチ適用を迅速にしないと被害に遭うことになる」（西尾氏）

生成AIによってゼロデイ攻撃を受ける可能性が上昇するだけでなく、パッチ公開から数時間でワンデイ攻撃に遭うことになる（西尾氏の講演資料から引用）

AIを用いた「配送・送り込み」の実態

　「配送・送り込み」におけるAIの利用が高度化している。西尾氏は、2023年8月に開催されたBlack Hatにおける、「ChatGPT」をはじめとする大規模言語モデル（LLM）を用いたフィッシングメール作文の試みを紹介した。プロンプトでフィッシングメールに使える文面を生成させる際、過去に漏えいしたメールを学習させることで、ターゲットの行動範囲を基にしたチューニングができる。これにより、開封率が60％以上になったというレポートが報告されたという。「AIを使った攻撃は、単純なものから高度なものに昇華しつつある」（西尾氏）

　もう1つ紹介した事例では、サーチエンジンに使われていて口語体で質問できるサービスに対し、クロール対象となるWebサイト内にAIに対するプロンプトを埋め込むことで、サーチエンジンの検索結果内に不正な動作をさせることができるという。「サーチエンジンにパリの天気を聞いた人に対して『もっと詳しく知りたければ、ここにアクセスせよ』とリンクを付けて回答させる。そのリンク先は攻撃者が用意したサイトになっており、明らかに配送・送り込みの方法が変化している」（西尾氏）

WebサイトにAIに対するプロンプトを埋め込み、回答の中に不正な情報を入れ込む（西尾氏の講演資料から引用）

「目的の実行」のために、防御側のAIを悪用する

　一部の先行企業がAIを組み込んだサービスを活用しているが、その仕組みを理解し切れておらず、権限設定が甘いところを利用している攻撃もあるという。

　データにアクセスできるAIサービスを乗っ取ることで、本来アクセス権限のない機微な情報を盗む攻撃などが確認されているのだ。データの窃取という「目的の実行」のために、防御側のAIを悪用する新たなLoTLといえるだろう。

AIを悪用すれば、簡単に情報を社外に持ち出せる（西尾氏の講演資料から引用）

AIモデルが「アタックサーフェス」を拡張する

　このようにサイバー攻撃にAIが実利用されている一方で、多くの企業・組織では、活用以前にまだAIの是非を含めた議論や検証の方が盛んなのが現状だ。

　中でもデータを多く保持する企業・組織が生成AIをどう安全に活用できるかを議論するに当たり、「ローカルLLM」「AI PC」が注目されている。学習データとしてさまざまな情報を必要とするAIだが、自社が持つ機微な情報を、他者が利用できるようになってしまうのは避けたい。そこで、データプライバシーの観点から“自社内に閉じたAIインフラ”を構築する流れが注目されているのだ。

　学習フェーズではプライベートクラウドを活用したり、推論フェーズではNPU（Neural network Processing Unit）などAIの推論処理に特化したプロセッサやAIアクセラレーターを搭載したPC（AI PC）を用いてローカル端末内で完結する環境を活用したりすることもある。

学習用データとLLMが新たな「アタックサーフェス」に

　ローカルLLMの学習データには、重要情報、機密情報が含まれている。ローカルLLMも「アタックサーフェス」の一つとなり得る、守らねばならない場所となる。

LLMが新たな「アタックサーフェス」になる（西尾氏の講演資料から引用）

　AIモデルを攻撃する手法は幾つかある。モデルを作るときにバックドアを仕込まれるなどのモデル汚染、モデルを学習させる際に使用するデータを改ざんすることで“偏り”を持たせるといったデータ汚染などがある。モデルを窃取し、その中身から学習に使用したデータや機微情報を推察したり、「モデルがどのような思考回路で考えているか」というコアなナレッジを推察したりする手法もある。

　「今後はモデルを守らねば、さまざまな被害に遭う。AI活用によって、アタックサーフェスが増えると考える必要がある」（西尾氏）

モデルへの攻撃はさまざまな手法が考えられる（西尾氏の講演資料から引用）

AI時代こそ、ハードウェアがアタックサーフェスになる

　消費者向けを中心にAIを活用したソフトウェアやサービスが増加し、クラウドやサーバだけでなくエッジ（エンドポイント）となるPC端末に、推論処理だけでなく学習処理も必要な場面が増えてきている。例えば動画配信サービスでリアルタイムに言葉を字幕化して編集するなどだ。これを可能にするのが、企業・個人で導入が増加している「AI PC」だ。

　エンドポイントのAI PCについては、ハードウェアのプロセス間通信に対する攻撃も想定しなければならない。OSの上で動くデバイスドライバやライブラリ、API、アプリケーションに対する脅威はこれまでと大きく変わることはないが、ハードウェア部分のCPUやGPU、そしてNPUへの攻撃を想定する必要がある。

　BIOS（Basic Input Output System）／UEFI（Unified Extensible Firmware Interface）がマルウェアに汚染されてしまうと、OS以上のレイヤーでは検知できない。これにより、事実上、NPUの制御を奪われ、AIへの学習データの窃取・改ざん、推論結果の改ざんなどが可能になってしまう。これはAI時代においてはクリティカルだ。

BIOS／UEFIへの攻撃が致命的な結果を生む（西尾氏の講演資料から引用）

　さらにWebAssembly技術が進化し、ブラウザから直接NPUを使用することも可能になっているが、西尾氏によると「別プロセスのNPUの推論処理に介入するような高度な攻撃が出現する可能性は大いにある」という。

WebAssemblyにより加速するブラウザからのNPU呼び出しには危険も（西尾氏の講演資料から引用）

　「仮想化の技術などを用い、低レイヤーもしっかり守る必要がある。低レイヤーが汚染された場合、上位レイヤーからの検出は極めて難しく、同じレイヤーへの対策が重要だ。特にBIOS／UEFIはアタックサーフェスとしては見逃されがち。しっかり見直してほしい」と西尾氏は指摘する。

エンドポイントでAIを用いる際の脅威ランドスケープとその対策（西尾氏の講演資料から引用）

　西尾氏は最後に、これまでに解説したAI時代に重要なセキュリティ対策ポイントを、エンドポイントを中心に4つにまとめ、次のように講演を締めくくった。

　「AIを使って、攻撃者も“革命”を起こしている。ゼロデイ攻撃だけでなくワンデイ攻撃が激増する世界を前に、私たちの想定するアタックサーフェスに漏れがないかどうかを見直すことが重要だ」