安全なAIモデルを使っても安心できない 攻撃者が狙う「AIの外側」：AIとサイバー攻防のダイナミクス（2/2 ページ）

[村上純一（PwCコンサルティング合同会社），＠IT]

セキュリティ向けAIも例外ではない？　実業務で起き得るリスク

　前回はCSIRT業務を6つの型に分類しました。

S0〜S5業務型定義表（出典：PwCコンサルティング）

　今のところ、セキュリティ用のAIが攻撃対象になった事案は確認されていませんが、今後上述の失敗が意図的に引き起こされる可能性はあります。筆者は以下のケースが起こり得ると考えています。

• 波及が速い型（S0 自動実行型・S1 監視者型）：人間の判断を介さない領域では、攻撃が成功したときの波及も人間の判断を介しません。S1については、検知の回避に加えて、意図的にアラートを増やし、本来対処すべきものを埋没させる形も考えられます。
• 接点となる型（S2 承認者型・S3 協働者型）：人間が関与しているにもかかわらず防げない領域です。前回、S2のリスクとして「レビューの形骸化」を挙げましたが、これは攻撃を試みる側からすれば、付け込む格好の機会となります。
• 気付きにくい型（S4 主導者型・S5 実践者型）：汚染された情報整理やコンテンツは、危機対応の結果や、組織の行動という形でしか現れません。前回「評価に時間がかかる」とした型は、意図的に狙われた場合にも、発見までに同じだけの時間を要します。

AIを狙った攻撃は4つの将来シナリオをどう変えるのか？

　AIへの攻撃について、本連載で追跡する「4つの将来シナリオ」に照らして考察してみましょう。

4つの将来シナリオ（出典：PwCコンサルティングの資料を基に、アイティメディアで作成）

　シナリオB（攻撃者優位）については、その圧力を強める方向に働きます。防御側がAIに依存するほど、攻撃される面も広がるためです。前回述べた「導入すれば強くなるとは限らない」という構造が、攻撃面についても成立します。

　シナリオA（AI軍拡競争）については、その前提条件に関わります。AI自体を堅牢（けんろう）にする取り組みがないままA方向に進めば、実質的にBに帰着する可能性が高まります。

　シナリオD（防御者優位）については、第1回でその条件の一つとして「入力を通じた操作への根本的な対策の確立」を挙げました。それは、正に本稿で扱った象限の解決を指しています。

　シナリオC（脆い平穏）については、注意を要します。AIへの攻撃が大規模には表面化していないことが、「まだ大丈夫」という認識を生みやすいためです。ただし本稿で示した通り、AI Incidents and Hazards Monitorに記録された事案のうち、「AIへの攻撃」の件数は増えています。現時点で水準が低いからといって、今の状況が続くとは限りません。

「AIを守る」の解像度を上げよう

　「AIを守る」とはAIモデルを守ることではありません。記録された事案が示しているのは、AIが何を入力として受け取り、何に接続し、何を実行できるのかという経路が狙われている、ということです。つまり守るべきは、その経路です。

　前回、防御側の評価軸として「何をAIに任せ、何を人間が担うか」を挙げました。今回の内容を踏まえると、そこに「任せた先が守られているか」という観点が加わります。

　次回は、この象限の防御面を扱います。権限の分離、AIの動作を制約する仕組みの設計、監査と検証といった内容となります。

筆者紹介：村上純一（むらかみ・じゅんいち）

PwCコンサルティング合同会社　パートナー

国内大手セキュリティベンダーでマルウェアの収集・分析などに関する研究開発、脅威分析、脆弱性診断、トレーニングなどの業務に従事。その後、国産セキュリティベンダーに参画し、執行役員として基礎技術開発、製品開発、各種セキュリティサービス提供、事業経営などに携わり株式上場を経験。また、サイバーセキュリティ領域における各種外部委員活動の他、Black Hat、PacSec、AVARなどの国際会議での研究発表も手掛けている。グローバルレベルでのサイバー攻撃の手法や主体など脅威動向の把握から企業対応までを専門分野にしている。