ディープフェイク検出システムをすり抜ける攻撃手法を実証、米国の研究チーム：敵対的サンプルでAIのミスを誘発

カリフォルニア大学サンディエゴ校の研究チームは、AIをだます新しい手法とその実証結果を発表した。実際の映像を改変操作したディープフェイク動画を検出するAIが対象だ。

[＠IT]

　カリフォルニア大学サンディエゴ校のコンピュータサイエンスの研究チームは、2021年1月5〜9日にオンラインで開催されたカンファレンス「WACV 2021」で、AIをだます新しい手法とその実証結果を発表した。実際の映像を改変操作した動画であるディープフェイクの検出システムが対象だ。

　研究チームの手法は「敵対的サンプル」を全ての動画フレームに挿入するというもの。敵対的サンプルとは、機械学習モデルなどのAIシステムにミスをさせるようにわずかに改変された入力を指す。今回の研究では敵対的サンプルを動画に挿入後、その動画を圧縮した後であっても、AIをだますことができた。

　同校でコンピュータエンジニアリングを専攻する博士課程の学生で、WACV 2021で発表された論文の筆頭共著者であるシェジーン・フセイン氏は、こう語る。「われわれの研究は、ディープフェイク検出システムをだます攻撃が、実世界で脅威になり得ることを示している」

　ディープフェイクでは、全く起こっていないイベントについてもっともらしい映像を作るために、被写体の顔を改変する。そのため、DNN（ディープニューラルネットワーク）を用いたディープフェイク検出システムは、冒頭の写真内にあるように、まず動画内の顔部分を追跡し、収集する。その後、動画が本物かフェイクかを判断するニューラルネットワークに顔データを渡す。

　ニューラルネットワークはさまざまな特徴を調べる。例えば、まばたきはディープフェイクではうまく再現できないため、目の動きにフォーカスする。最新鋭のディープフェイク検出システムは、ほぼ全てDNNに依存しており、このようにしてフェイク動画を特定する。

　最近では、ソーシャルメディアプラットフォームを通じてフェイク動画が広く拡散し、全世界で大きな懸念を呼んでいる。こうした状況は、特にデジタルメディアの信頼性を損なうと、研究チームは指摘している。「攻撃者が検出システムに関する知識を持っていると、彼らはその盲点を突き、検出システムをすり抜ける入力を設計できてしまう」（同校のコンピュータサイエンスの学生で、上記論文のもう1人の筆頭共著者であるパース・ニーカラ氏）

どうやってすり抜けたのか

　研究チームは、動画フレーム内の全ての顔画像について敵対的サンプルを作成した。動画の圧縮やサイズ変更といった一般的な編集処理を施すと、通常、敵対的サンプルは画像から取りのぞかれてしまうが、研究チームが作成した敵対的サンプルは、これらのプロセスに耐えられるように設計されている。