AIは、どのように攻撃され、どのように守るのか――そのブラックボックスを垣間見る：特集：「AI」は企業のセキュリティ対策に必要なのか、どう変革するのか（3）

「セキュリティにとってのAIとは？」を考えると、「AIによる攻撃」「AIによる防御」「AIへの攻撃」「AI自体からの人間への攻撃」といったことが挙がる。このうち「AIによる防御」は特にブラックボックスになりがちだったが、その一部をセキュリティベンダーであるトレンドマイクロが明かした。

[宮田健，＠IT]

　多くのセキュリティベンダーにとって、「AIで守る」ことはさほど目新しいことではない。これまでも、例えば迷惑メール対策にAI／機械学習が使われている。文面から、その迷惑メール“らしさ”を判断する「ベイズ推定」は機械学習の一種であり、これらは既にソリューションの一部として活用されていると考えていいだろう。

　AIは進化し、さまざまな方法で、防御に、そして攻撃に使われている。本特集では「セキュリティにとってのAIとは？」をキーワードに、現在各社で行われている技術研究や取り組みなどを聞く。今回はトレンドマイクロにおける「AI」について、さまざまな視点から同社セキュリティエバンジェリストの山外一徳氏に聞いた。

身近にある攻撃活用例――これも“AI活用”

　山外氏はまず、「AIで攻撃を仕掛けていく」という攻撃側の手法を取り上げた。トレンドマイクロの調査の一環で、「ダークウェブ」と呼ばれるエリアに存在する、アンダーグラウンドなチャットサービスでのAI活用事例を発見したという。このチャットツール自体は“正規”のものだが、その上で不正に収集したカード情報やアカウント／パスワード情報などの売買を“チャットbot”が応対しているのだという。売る側はbotに任せてスムーズに売買を完了でき、買う側も的確に不正な情報を入手できる。こういったものが2018年ごろから動いているという。

チャットbotの動作事例（出典：トレンドマイクロ）

　もう少し直接的なものでは、トレンドマイクロが発表した2020年における脅威予測の中にも取り上げられている「ディープフェイク」が挙げられるだろう。山外氏はサイバー攻撃におけるディープフェイク活用の例として、攻撃者が、企業の経営層の声に似せたフェイク音声を作成し、これを基にして電話をかけ、関係者をだますことに成功した事例を挙げる。

　「なりすましでいえばビジネスメール詐欺の被害が増えているが、特定の人が書いたメールのテキストを収集することは難しくても、ビジネスメール詐欺の対象となるような経営幹部はセミナーに登壇するなど映像、音声の収集が容易。そのため、露出の高い人が狙われる。そういうものを作成できるスキルを持っている人が、アンダーグラウンドのビジネスに入り込むことも予想できる」（山外氏）

「ブラックボックスで分からない」となりがちな「AIで防御する」の具体例

　ビジネスメール詐欺に関しては、「AIで防御する」ソリューションも取り入れられつつある。トレンドマイクロにおいては、経営幹部のメール数百通を機械学習にかけることで、ビジネスメール詐欺で送られる“偽のメール文章”を見抜く「Writing Style DNA」という仕組みを、ビジネスメール詐欺対策ソリューションに取り入れている。

Writing Style DNAによる学習の概要（出典：トレンドマイクロ）

Writing Style DNAによる検知の例（出典：トレンドマイクロ）

　その他、トレンドマイクロでは、不正プログラム対策、不正サイト対策においても、AI／機械学習を活用している。従来との違いについて、山外氏は次のように表現する。「従来の対策は、パターンマッチング型の検索で既知の脅威には有効だが、機械学習型検索は、単体では脅威と判断できない分析する統計的なアプローチだ。未知の脅威に対して、特徴に基づいた統計的な判断を行う」

　不正プログラム対策では、機械語コードの出現数、コードの中のAPIコールなどを、プログラムの“癖”（特徴）として学習し、生成されたモデルが脅威／安全を判断するという。視覚的に表すと下図のようになる。

検出の仕組み：特徴を捉えると類似性（出典：トレンドマイクロ）

　不正サイト対策では、画像解析とAIによるスキャン、動的なURL検索という2つの機能を実装しているという。

　多くのフィッシングサイトは、「ペイロードがなく無害に見える」「短命で数時間ないし数日間で消える」「新しいホスト名を使っているか偽装サイトに隠れている」「多くがユーザのID／パスワードの窃取を目的としている」という特徴を持っている。これらに対する検出力をさらに向上させることが実装の理由だ。

不正サイト対策（画像解析＋AI）（出典：トレンドマイクロ）

「AIそのものを“だます”」とは

　次に山外氏が指摘するのは、機械学習によって生成されたモデルそのものを“だます”手法だ。