ぼやけた顔写真から最大64倍鮮明な画像を生成するAIツールを開発、デューク大研究チーム：GANによる機械学習を利用

デューク大学の研究チームが、ぼやけて被写体が特定できない顔写真から、極めて本物に近い画像を生成できるAIツール「PULSE」を開発した。敵対的生成ネットワークによる機械学習を利用した。

[＠IT]

　デューク大学の研究チームは、ぼやけて被写体が特定できない顔写真から、これまでの方法よりも精細な、極めて本物に近い画像をコンピュータで生成できるAIツール「PULSE」（Photo Upsampling via Latent Space Exploration）を開発した。

　研究チームは、2020年6月14〜19日の会期でオンラインで開催中の2020 Conference on Computer Vision and Pattern Recognition（CVPR）で、PULSEのプレゼンテーションを行った。

「PULSE」はピクセルが見えてしまうほど低解像度の写真を、本物の人間のように見える写真に変換する（クリックで再生、出典：デューク大学）

　これまでの方法では、顔写真の解像度は最大8倍にしか高めることができなかった。デューク大学のチームは少数のピクセルからなる顔写真画像の解像度を最大64倍に高める方法を考案した。

　研究チームを率いたデューク大学のコンピュータ科学者シンシア・ルーディン氏は「このような低解像度の画像を用いてこれほどの超解像画像を作成した研究はこれまでなかった」と述べている。

真の画像を作り上げる技術ではない

　ただし、PULSEの手法では、副作用として元々なかった小じわやまつげ、無精ひげといった“想像上の特徴”も加わってしまう。

　このような性質があるため、研究者によると、PULSEを人物の特定に使うことはできない。防犯カメラで撮影された、被写体が判別できないぼやけた写真から、実在する人物の鮮明な画像を生成することはできない。PULSEに可能なのは、存在しないが、極めて本物らしく見える新しい顔を生成することだ。

　今回は概念実証のために顔写真に特化したものの、理論上、PULSEと同じ技術を使って、ほぼあらゆるものの低解像度写真から、鮮明でリアルな写真を作成できる可能性がある。医学や顕微鏡検査、天文学、衛星画像といった分野への応用が見込めるという。

GANを用いて高解像度画像を生成

　低解像度画像から高解像度画像を作成する従来のアプローチでは、元の画像に徐々に新しい細部を追加する。解像度を高める際にどのようなピクセルが必要なのかを推測し、以前に入力された高解像度画像を参照して平均的に一致するように変換する。このような平均化の結果、髪の毛や肌のテクスチャ部分は、ピクセルごとに不連続になる可能性があるものの、最終的にはぼやけて不明瞭に見える。

　PULSEで採用した手法は異なる。AIによって生成された高解像度の顔写真のサンプルを用い、解像度を元の画像と同じまで落とした場合に、元の画像にできるだけ近く見えるものを探す仕組みだ。

目や口などがほとんど判別できない左の画像の解像度を、A|によって右の画像のように60倍以上高めることができる（クリックで拡大、出典：デューク大学）

　研究チームは、Generative Adversarial Network（GAN：敵対的生成ネットワーク）という機械学習ツールを使った。これは、同じ写真データセットでトレーニングした2つのニューラルネットワークを用いる。1つ目のネットワークはトレーニングされた顔写真を模した顔写真を作成し、2つ目のネットワークはその出力について、本物に見えるほどリアルかどうかを判断する。この反復により、1つ目のネットワークの出力は最終的に、2つ目のネットワークが違いを区別できなくなるまで、精度が向上する。

　「PULSEはノイズの多い低品質の入力から、他の方法では不可能だったリアルな画像を作成することができる」（ルーディン氏）。1枚のぼやけた顔の画像から、幾つもの生き生きとした顔画像を出力可能だ。それぞれの画像はわずかに異なった顔に見える。

元画像を低解像度化し、その後PULSEを使って解像度を戻すと、元画像とは少し異なった画像が得られる（クリックで拡大、出典：デューク大学）

　PULSEは、16×16ピクセルの顔写真を数秒で100万ピクセルを超える1024×1024ピクセルに変換できる。これはHD（High Definition）に近い解像度だ。低解像度写真では見えない毛穴、しわ、髪の房などの細部が、コンピュータで生成されたバージョンには鮮明に現れている。

　今回の研究では、PULSEと他の5つの技術によって生成された1440点の画像について、40人に5段階で評価してもらった。その結果、PULSEは最高のスコアを獲得し、実在する人物の高画質写真とほぼ匹敵するという評価を得た。