AIが賢くなるほど、人間は弱くなる？ セキュリティ業務に潜む「承認するだけ」のわな：AIとサイバー攻防のダイナミクス（2/2 ページ）

[村上純一（PwCコンサルティング合同会社），＠IT]

「AIに任せる」と「人間を残す」：6分類から見える設計原則

　S0〜S5を見渡すと、興味深い共通点が浮かび上がります。

　最も自動化されたS0と、人間の行動や組織能力そのものが成果になるS5は、一見すると正反対の業務です。しかし、どちらも「失敗がすぐには見えない」という共通したリスクを抱えています。

　S0では、誤ったルールが静かに適用され、影響が蓄積する可能性があります。S5では、研修や教育を実施しても、それが実際の対応能力につながっているかどうかは短期間では分かりません。

　つまり「自動化すれば安全」「人間が関与すれば安全」という単純な図式は成立しません。

　では、AIに任せる業務と人間の関与を残すべき業務は、何を基準に判断すればよいのでしょうか。

　判断軸として、少なくとも次の6つが考えられます。

1. 人間の処理速度・規模を圧倒する必要がある
2. 誤りを即時かつ局所的に評価できる
3. 誤りが他の業務に連鎖しにくい
4. 外部への説明責任が問われる
5. アウトカムが長期・拡散的に評価される
6. 誤りが組織能力の劣化として潜伏する可能性がある

　前半の3条件を多く満たすほど、AIに任せる合理性は高まります。逆に、後半の3条件を持つ業務では、人間による判断や監督を残す必要性が高まります。

　例えばS1の監視・検知は、大量の情報を高速に処理する必要があり、個々の誤りを比較的早く評価できます。そのためAIとの親和性が高い領域です。一方、S4の危機管理やポリシー判断、S5の教育・演習では、外部への説明責任や長期的な組織能力が関係します。単純に処理量を増やすだけでは成果を評価できないため、人間の関与を残す必要性が高くなります。

　そして、この原則を考える上で特に重要なのがS0です。

　S0は一見すると、「AIに任せる」条件を満たしやすい領域です。しかし実際に自動実行されるルールや設定を誰が設計し、誰が監査するのかという問題が残ります。

　つまり、自動実行そのものを人間が細かく判断する必要はなくても、その自動化を成立させる設計・監査の段階では人間の関与が欠かせません。

　最も自動化された領域だからこそ、設計者としての人間を失ってはいけない。ここにS0の逆説があります。

　さらに、S0やS1でAIによる自律的な判断や自動化が進むほど、別の問題も浮上します。AIが利用するモデルやデータ、ルール、エージェントそのものが攻撃対象になる可能性です。

　ルールの汚染やモデルへの敵対的入力、検知ロジックの回避などは、AIを活用してサイバーセキュリティを行う「AI for Cyber」とは別に、AIそのものを守る「Cyber for AI」という問題を突き付けます。

防御側のAI活用は4つの将来シナリオをどう変えるのか？

　S0〜S5の導入状況は、第1回で紹介した4つの将来シナリオにも影響します。

4つの将来シナリオ（出典：PwCコンサルティングの資料を基に、アイティメディアで作成）

　例えばS1やS2でAIによる分析・判断支援が進み、必要な監督体制も整えば、防御側も機械に近い速度で対応できるようになります。これはシナリオA（AI軍拡競争）における防御側の能力向上につながります。

　一方、S2でAIへの依存が先行し、レビューが形骸化すれば、AIの導入によって処理能力は向上しているように見えても、人間の判断能力が低下する可能性があります。その状態で攻撃側の能力向上が続けば、シナリオB（攻撃者優位）への圧力が高まります。

　また、S4やS5でAIによるコンテンツ生成や業務効率化だけが進み、「AIを導入した」という事実そのものが安心材料になれば、実際の危機対応能力が伴わないまま安定しているように見える状態、すなわちシナリオC（脆い平穏）につながる可能性があります。

　特に注意すべきなのは、シナリオCの「脆い平穏」とシナリオBの「攻撃者優位」が必ずしも明確に分かれるわけではないことです。

　外見上はAIによってセキュリティ業務が効率化され、安定しているように見えても、内部では人間の判断能力や組織の対応能力が徐々に失われているかもしれません。その場合、「脆い平穏」の内部でシナリオBへの圧力が蓄積しているという状態が生まれます。

　つまり防御側に求められるのは、AI導入率を高めることではありません。どの業務をAIに任せ、どの判断を人間に残すのか。そして、AIに任せた結果として人間や組織の能力が失われていないかどうかを継続的に検証することです。

　AIの活用を「導入したかどうか」で評価する段階から、「何を任せ、何を残したか」で評価する段階に移る必要があります。次回は視点を「Cyber for AI」象限に転じ、AIシステムそのものが攻撃対象となる現実と、AIを組み込んだセキュリティ基盤をどのように守るべきなのかを検討します。

筆者紹介：村上純一（むらかみ・じゅんいち）

PwCコンサルティング合同会社　パートナー

国内大手セキュリティベンダーでマルウェアの収集・分析などに関する研究開発、脅威分析、脆弱性診断、トレーニングなどの業務に従事。その後、国産セキュリティベンダーに参画し、執行役員として基礎技術開発、製品開発、各種セキュリティサービス提供、事業経営などに携わり株式上場を経験。また、サイバーセキュリティ領域における各種外部委員活動の他、Black Hat、PacSec、AVARなどの国際会議での研究発表も手掛けている。グローバルレベルでのサイバー攻撃の手法や主体など脅威動向の把握から企業対応までを専門分野にしている。