AIは、どのように攻撃され、どのように守るのか――そのブラックボックスを垣間見る：特集：「AI」は企業のセキュリティ対策に必要なのか、どう変革するのか（3）

「セキュリティにとってのAIとは？」を考えると、「AIによる攻撃」「AIによる防御」「AIへの攻撃」「AI自体からの人間への攻撃」といったことが挙がる。このうち「AIによる防御」は特にブラックボックスになりがちだったが、その一部をセキュリティベンダーであるトレンドマイクロが明かした。

[宮田健，＠IT]

　多くのセキュリティベンダーにとって、「AIで守る」ことはさほど目新しいことではない。これまでも、例えば迷惑メール対策にAI／機械学習が使われている。文面から、その迷惑メール“らしさ”を判断する「ベイズ推定」は機械学習の一種であり、これらは既にソリューションの一部として活用されていると考えていいだろう。

　AIは進化し、さまざまな方法で、防御に、そして攻撃に使われている。本特集では「セキュリティにとってのAIとは？」をキーワードに、現在各社で行われている技術研究や取り組みなどを聞く。今回はトレンドマイクロにおける「AI」について、さまざまな視点から同社セキュリティエバンジェリストの山外一徳氏に聞いた。

身近にある攻撃活用例――これも“AI活用”

　山外氏はまず、「AIで攻撃を仕掛けていく」という攻撃側の手法を取り上げた。トレンドマイクロの調査の一環で、「ダークウェブ」と呼ばれるエリアに存在する、アンダーグラウンドなチャットサービスでのAI活用事例を発見したという。このチャットツール自体は“正規”のものだが、その上で不正に収集したカード情報やアカウント／パスワード情報などの売買を“チャットbot”が応対しているのだという。売る側はbotに任せてスムーズに売買を完了でき、買う側も的確に不正な情報を入手できる。こういったものが2018年ごろから動いているという。

チャットbotの動作事例（出典：トレンドマイクロ）

　もう少し直接的なものでは、トレンドマイクロが発表した2020年における脅威予測の中にも取り上げられている「ディープフェイク」が挙げられるだろう。山外氏はサイバー攻撃におけるディープフェイク活用の例として、攻撃者が、企業の経営層の声に似せたフェイク音声を作成し、これを基にして電話をかけ、関係者をだますことに成功した事例を挙げる。

　「なりすましでいえばビジネスメール詐欺の被害が増えているが、特定の人が書いたメールのテキストを収集することは難しくても、ビジネスメール詐欺の対象となるような経営幹部はセミナーに登壇するなど映像、音声の収集が容易。そのため、露出の高い人が狙われる。そういうものを作成できるスキルを持っている人が、アンダーグラウンドのビジネスに入り込むことも予想できる」（山外氏）

「ブラックボックスで分からない」となりがちな「AIで防御する」の具体例

　ビジネスメール詐欺に関しては、「AIで防御する」ソリューションも取り入れられつつある。トレンドマイクロにおいては、経営幹部のメール数百通を機械学習にかけることで、ビジネスメール詐欺で送られる“偽のメール文章”を見抜く「Writing Style DNA」という仕組みを、ビジネスメール詐欺対策ソリューションに取り入れている。

Writing Style DNAによる学習の概要（出典：トレンドマイクロ）

Writing Style DNAによる検知の例（出典：トレンドマイクロ）

　その他、トレンドマイクロでは、不正プログラム対策、不正サイト対策においても、AI／機械学習を活用している。従来との違いについて、山外氏は次のように表現する。「従来の対策は、パターンマッチング型の検索で既知の脅威には有効だが、機械学習型検索は、単体では脅威と判断できない分析する統計的なアプローチだ。未知の脅威に対して、特徴に基づいた統計的な判断を行う」

　不正プログラム対策では、機械語コードの出現数、コードの中のAPIコールなどを、プログラムの“癖”（特徴）として学習し、生成されたモデルが脅威／安全を判断するという。視覚的に表すと下図のようになる。

検出の仕組み：特徴を捉えると類似性（出典：トレンドマイクロ）

　不正サイト対策では、画像解析とAIによるスキャン、動的なURL検索という2つの機能を実装しているという。

　多くのフィッシングサイトは、「ペイロードがなく無害に見える」「短命で数時間ないし数日間で消える」「新しいホスト名を使っているか偽装サイトに隠れている」「多くがユーザのID／パスワードの窃取を目的としている」という特徴を持っている。これらに対する検出力をさらに向上させることが実装の理由だ。

不正サイト対策（画像解析＋AI）（出典：トレンドマイクロ）

「AIそのものを“だます”」とは

　次に山外氏が指摘するのは、機械学習によって生成されたモデルそのものを“だます”手法だ。

　ここでは、何かしらの情報をモデルに入力すると、何かしらの出力があるといったものをAIとして想定する。例えば画像を入力すると、「その画像がどのような要素を含む可能性があるか」というテキストを出力するとしよう。

　その学習の仕方によりモデル内の処理精度が上がるが、何らかの方法を使うことでその判断をだますことができたらどうなるだろうか。例えば、ファイルがマルウェアかどうかを判定するモデルであれば、本来ならば、無害なファイルは「無害であること」が、マルウェアは「マルウェアであること」が判定結果として出力されることを期待する。しかし万が一、マルウェアであるファイルを入力しても「無害なファイルである」と出力する方法があった場合、サイバー犯罪者にとっては都合が良い。

トレンドマイクロ セキュリティエバンジェリスト 山外一徳氏

　そのようなことは可能なのだろうか。山外氏は「『モデルが何を基に判断しているか』などの情報があれば、内部のモデルが推測可能な場合もある」と述べる。特に何らかの情報を入力するごとに、出力が返ってくるような試行を繰り返せたとしたら、その結果に合わせてモデルの中身を絞り込むこともできる。これにより、システム運用側の意図しない出力を引き出すことが、攻撃に応用される可能性がある。

　また、学習データを汚染する例の一つとして、Microsoftが提供していた人工知能「Tay」が、学習により悪い言葉を覚えてしまったことなどが挙げられるだろう。

　この点に関して、山外氏は「モデルの更新は運用管理者が定期的に実施するものだ。そのため、攻撃と思われるものが見つかり次第、運用として、それを排除する、判断方法を変えるといったことが考えられる」と述べる。

ならば、攻撃者の心理を学べ！

　そこで、トレンドマイクロはそういった攻撃手法から学ぶため、同社が開催しているCapture The Flag（CTF）の中でAIをテーマにした設問を用意した。CTFとは、あらためて簡単に説明しておくと、セキュリティの知識を基にクイズ形式で実践的な体験をするものだ。

• セキュリティ技術の競技大会「Trend Micro CTF 2019」を開催 | トレンドマイクロ
• Trend Micro CTF 2019 Capture Raimund Genes Cup The Flag - Hackathon - Hacking Contest | トレンドマイクロ

　トレンドマイクロが主催したCTFでは、昨今問題になっている脅威に合わせて、同社が観測したランサムウェアや標的型攻撃の内容を基に問題が作られている。その中に1つ、AIに関する問題が含められた。

　その問題は「Dog or Cat ?」。問題文には下記のような文章が書かれている。

概要

私は猫です。トレンドキャットという会社で働いています。

最近トレンドドッグという会社ができたので、遊びに行きたいです。

ただ、残念なことにトレンドドッグは犬しか入れない会社です。

トレンドドッグは高性能な顔認証システムを採用しており、犬しかビルに入ることができません。

何とかして顔認証システムをだまして、私（猫）を犬と認識させ、ビルに入りたいです。

ある日、私はトレンドドッグの顔認証システムについてある情報を入手しました。

小さなイメージ（60x60 pixels jpeg）をIDカードに含めることで、顔認証システムをだますことができるようです。

（出典：トレンドマイクロ）

問題

ステッカーイメージを作成し、顔認証システムをだましてください。

　問題には猫が映っている社員証（の画像）が含まれており、右下にはノイズのようなステッカーが貼られている。問題では、問題文の他、猫の画像、ステッカーの場所を示す情報、およびモデルが提供された。運営が用意したサーバにステッカー付きの画像を送り、AIに猫の画像を犬の画像だと認識させれば正解となる。

　このCTFでは13チームが決勝に進出したが、この出題に正解したのはたった1チームだった。正解したチームは、猫が映っている社員証の右下のノイズ部分を「犬の画像である要素を詰め合わせたもの」に差し替えることで、AIのエンジンに「犬である」と判定させることに成功した。チームには、AI専攻のメンバーがいたという。

　この問題を制作したエンジニアは、AIを使って守る技術に精通しているが、守るためにはだます技術を理解する必要性を感じていたという。「AIをだます攻撃がある上で、どう守るか」を理解してもらうため、CTF会期の2日間のうち、2〜3時間かければクリアできるぐらいの難易度調整の下で実施された。この問題は「マルウェア判定へのAI活用」に通じるものといえるだろう。

「AI自体が人間に牙をむく」可能性は？

　最後にもう一つ、私たちが考えるべき脅威がある。それは「AI自体が人間に攻撃を仕掛けてくる」というものだ。しかし、これに関して山外氏は「AIが独立して人間に攻撃を仕掛けてくるのは、まだ映画の中でしか起きない話だろう」と述べる。

　一方で、山外氏は「AIといえども、必ず“人”が介在する。その介在割合はさておき、その裏にはサイバー犯罪者がいる」とも指摘する。AIは決して特別なものではなく、その裏にあるサイバー犯罪者の意図を見抜くことが、AI時代のセキュリティ対策でも必須となるのではないだろうか。

特集：「AI」は企業のセキュリティ対策に必要なのか、どう変革するのか

機械学習や人工知能（AI）がビジネスを変革する昨今、セキュリティの分野でもAIの活用が進んでいる。複雑化、多様化するサイバー攻撃から資産を守る企業側はもちろん、攻撃側もAIを活用してくる。さらに、企業が開発したAIモデルを狙った攻撃も増えつつある。攻撃側がAIを使うなら、防御側もさらなるAI活用で対抗することも考えなければならない上に、そもそもAIを守るにはAIを知らないと守れない――では、企業がセキュリティ対策にAIを取り入れるために必要なことは何か。AIでセキュリティ対策の何が変わるのか。セキュリティエンジニアは、AIとどう向き合うべきなのか。本特集では、そのヒントをお届けする。

特集：「AI」は企業のセキュリティ対策に必要なのか、どう変革するのか