1枚の写真から動画を作成するディープラーニング手法を開発、ワシントン大：滝、煙、雲など、任意の流体をアニメーション化可能

ワシントン大学の研究チームが、1枚の滝の写真から、滝が流れ落ちる様子の動画を作成できるディープラーニング手法を開発した。数千の流体の動画でニューラルネットワークをトレーニングし、流れの動きを予測できるようにした。

[＠IT]

　ワシントン大学は2021年6月14日（米国時間、以下同）、1枚の滝の写真から、滝が流れ落ちる様子の動画を作成できるディープラーニング手法を開発したことを発表した。

　この手法を使うと滝や煙、雲など、任意の流体をアニメーション化できる。作成した短い動画はシームレスにループし、流体がずっと動き続けているような印象を与える。ワシントン大学とFacebookに所属する研究者は2021年6月22日、「Conference on Computer Vision and Pattern Recognition」（CVPR 2021）で、このアプローチについてのプレゼンテーションを行った。

開発した手法でワシントン州のスノコルミー滝を動画化した　滝の高さは81メートルある（出典：Sarah McQuate、ワシントン大学、クリックで再生）

　「写真はある瞬間を捉えるが、静止画では多くの情報が失われる。例えば、何がその瞬間をもたらしたか、物がどのように変わりつつあるかといった情報だ」（アレクサンダー・ホリンスキ氏）。ホリンスキ氏はこのディープラーニング手法に関する研究論文の主著者で、ワシントン大学ポール G. アレン スクールオブコンピュータサイエンス＆エンジニアリングの博士課程の学生だ。

　さらに同氏はこう説明する。「われわれの手法は、ユーザーの入力や追加の情報を必要としないという点が特徴だ。写真さえあれば、シームレスにループする高精細の動画を出力できる。多くの場合、本物の動画のように見えるものだ」

　1枚の写真から本物のような動画を作成する手法の開発は、この分野の研究では困難だとされていた。「実質的に未来を予測する必要があるからだ。だが、実世界では、この手法には無限に近い可能性がある」（ホリンスキ氏）

どのように動画を作成するのか

　開発した手法はまず、写真が撮られたときに物がどのように動こうとしていたのかを予測し、情報を使ってアニメーションを作成する。