G20加盟国の重要インフラが「2028年までに止まる」？――「AIの死角」とは：サイバー攻撃より怖い「善意の設定ミス」

Gartnerは、サイバーフィジカルシステム（CPS）における設定ミスが、2028年までにG20加盟国のいずれかで重要インフラを停止させるという予測を発表した。

[＠IT]

　Gartnerは2026年2月12日（米国時間）、サイバーフィジカルシステム（CPS）における設定ミスによって、2028年までにG20加盟国のいずれかで国家的な重要インフラが停止するという予測を発表した。なおGartnerではCPSを、「センシング、計算、制御、ネットワーキング、分析を調整し、物理的世界（人間を含む）と相互作用するエンジニアリングされたシステム」と定義している。

サイバー攻撃より怖い「善意の設定ミス」

　Gartner VP（バイスプレジデント）アナリスト ワム・ヴォスター氏は、「次の大規模なインフラ障害はサイバー攻撃や自然災害によってではなく、善意のエンジニア、欠陥のある更新スクリプト、または小数点以下の桁の誤った配置によって引き起こされる可能性がある」と述べている。特に、設定を誤ったAI（人工知能）は、不可欠なサービスを自律的に停止させたり、センサーデータを誤って解釈したり、安全ではないアクションをトリガーしたりする可能性があり、物理的な損害や大規模なサービスの中断をもたらす可能性があるという。

　また、電力網や製造工場といった主要システムの制御を危うくすることで、公共の安全と経済の安定に直接的な脅威をもたらすリスクもあると同氏は指摘する。例えば、最新の電力網は発電と消費のリアルタイムのバランス調整をAIに依存している。そのため、設定を誤った予測モデルが需要を不安定性と誤認し、地域全体や国全体で不必要な送電網の分離や負荷遮断を引き起こす可能性がある。

AIモデルのブラックボックス化と人間による介入の重要性

　ヴォスター氏は、「最新のAIモデルは非常に複雑であり、『ブラックボックス』に似ていることが多い」と指摘している。たとえ開発者であっても、小さな設定変更がモデルの振る舞いにどのような影響を与えるかを常に予測できるわけではないため、これらのシステムが不透明になるほど設定ミスによってもたらされるリスクは高まる。従って、必要に応じて人間が介入できることが重要だと同氏は指摘する。

　このような、AIの設定ミスによって引き起こされる意図しないシャットダウンから国家インフラを保護するためには、認可されたオペレーターのみがアクセスできる安全な「キルスイッチ」、あるいは「オーバーライドモード」が不可欠だとしている。

CISOが講じるべき3つのリスク軽減策

　こうしたリスクを軽減するために、Gartnerでは企業・組織のCISO（最高情報セキュリティ責任者）に以下のような対応を推奨している。

• 安全なオーバーライドモードの実装：全ての重要インフラのCPSについて、認可されたオペレーターのみがアクセスできる安全な「キルスイッチ」またはその他のオーバーライドメカニズムを含める。これにより、AIによる完全な自律稼働中でも人間が最終的な制御を維持する
• デジタルツイン：展開前にアップデートや設定変更の現実的なテストを行うための、重要インフラをサポートするシステムのフルスケールのデジタルツインを開発する
• リアルタイム監視：CPSにおけるAIに加えられた変更に対する、ロールバックメカニズムを備えたリアルタイムの監視を義務付けるとともに、国家的なAIインシデント対応チームを創設する