誤った判断を下したとき、AIには何が起きているのか：AIに誤判定を起こす敵対的サンプルとは

ヒューストン大学の研究者は、AI技術の一種であるディープニューラルネットワーク（DNN）が誤った判断を下した場合、その原因について、敵対的サンプルによるものだと安易に決めつけてはならないと指摘する。

[＠IT]

　ヒューストン大学は2020年11月23日、ディープニューラルネットワーク（DNN）が誤った判断を下したと考えられる場合、その原因についての一般的な仮定は間違っている可能性があると発表した。同大学哲学准教授キャメロン・バックナー氏は、「Nature Machine Intelligence」で発表した論文の中で、このことは、DNNの信頼性を評価する上で重要だとしている。

　DNNは数学的モデリングを用いて画像やその他のデータを処理するために構築された多層システムであり、現在、最も普及し、成功しているAI技術だ。だが、DNNシステムには脆弱（ぜいじゃく）性がある。中でも注目されているのが、学習時に出会ったことがない敵対的サンプルに影響されやすいことだ。

　バックナー氏は論文で、敵対的サンプルに関する最近の実証研究をレビューした。この研究はDNNが敵対的サンプルの中から、人間には計り知れないながらも、有用と予想される特徴を検出している可能性を示唆しているという。

敵対的サンプルに原因を押し付けていないか

　同氏は次のように述べている。「DNNシステムが構築時に使われたトレーニング入力の範囲から外れた情報に直面したとき、画像などのデータについての判断を誤ることがある。その場合、研究者が『敵対的サンプル』と呼ぶものに起因すると考えられている。だが、（ここで止まってしまうのではなくさらに）原因を理解することが重要だ」

　こうしたトレーニング入力の範囲から外れた情報はまれであり、「敵対的」と呼ばれる。これらは多くの場合、他の機械学習ネットワークによって作成または発見されるためだ。これは機械学習の世界において、敵対的サンプルを作る高度な方法と、それらを検出または回避する高度な方法の間で展開される、一種の瀬戸際政策といえるだろう。

　「こうした敵対的イベントの一部は、アーティファクトかもしれない。DNNの信頼性を把握するには、それらが何であるのかをよりよく理解する必要がある」と、バックナー氏は述べている。

　DNNが期待された判断を下さなかった場合、DNNが処理するよう求められたものと、その中に含まれる実際のパターンとの相互作用に起因する可能性があるということだ。つまり、そのDNNの判断は完全な誤りではないのかもしれない。

　「敵対的サンプルの意味を理解するには、第3の可能性、つまり、少なくともこれらのパターンの『一部のみ』が、アーティファクトである可能性を探る必要がある。現時点では、こうしたパターンを切り捨てることにはコストがかかり、（何も考慮せずに）単純に使うことには危険がある」（バックナー氏）

敵対的サンプルには危険性がある

　こうした機械学習システムに判断を誤らせる敵対的イベントは、意図的な不正行為によって発生するとは限らないが、もしそうなれば極めて高いリスクを伴う。