「偽装攻撃データを用いてAIモデルに誤判定させる攻撃」への耐性を強化する技術を富士通研究所が開発：通信ログやサービス利用履歴など系列データ向けに開発

富士通研究所は、「偽装攻撃データを用いてAIモデルに誤判定させる攻撃」への耐性を強化する技術を開発した。偽装攻撃の模擬データを大量に自動生成し、元の学習データを結合させることで判定精度を維持したまま偽装攻撃への耐性を向上させる。

[＠IT]

　富士通研究所は2020年10月29日、偽装攻撃データを用いてAI（人工知能）モデルをだまし、意図的に誤判定させる攻撃への耐性を強化する技術を開発したと発表した。AIの誤判定を意図的に引き起こす攻撃への対策技術は、これまで画像や音声といった「メディアデータ」を対象としたのものが多く、通信ログやサービス利用履歴といった「系列データ」に対しては、模擬偽装攻撃データを用意する難しさや精度低下といった課題があった。

正規操作と判定されやすい偽装効果の高いデータを抽出

　系列データに敵対的訓練技術を適用するには、偽装攻撃を模擬した学習データを大量に生成する必要がある。ただし、系列データの場合は、どの要素が元データの性質に影響しているか分からないため、単純にデータの一部を加工すると元データの性質が失われてしまうことが課題だった。

　富士通研究所が開発した技術は、偽装攻撃の模擬データと元の学習データを結合させることで判定精度を維持したまま偽装攻撃への耐性を向上させる。

　例えば通信ログを偽装する攻撃の場合、攻撃者は攻撃操作を正規操作に偽装させることが多いため、攻撃操作時の通信ログデータと偽装に使う正規操作時の通信ログデータを用意する。

サイバー攻撃を例にした模擬偽装攻撃データ自動作成技術のイメージ

　そして、偽装に使う正規操作の通信ログデータを対策前のAIモデルで分析し、その結果から正規操作と判定されやすい偽装効果の高いデータを抽出する。抽出したデータを攻撃操作の通信ログデータに結合して模擬偽装攻撃データを生成する。

　次に、元の学習データを学習させたAIモデルと、模擬偽装攻撃データを学習させたAIモデルの2つを構築する。これら2つのAIモデルの判定結果を、入力データに合わせて統合（アンサンブル学習）する。