1枚の写真から動画を作成するディープラーニング手法を開発、ワシントン大:滝、煙、雲など、任意の流体をアニメーション化可能
ワシントン大学の研究チームが、1枚の滝の写真から、滝が流れ落ちる様子の動画を作成できるディープラーニング手法を開発した。数千の流体の動画でニューラルネットワークをトレーニングし、流れの動きを予測できるようにした。
ワシントン大学は2021年6月14日(米国時間、以下同)、1枚の滝の写真から、滝が流れ落ちる様子の動画を作成できるディープラーニング手法を開発したことを発表した。
この手法を使うと滝や煙、雲など、任意の流体をアニメーション化できる。作成した短い動画はシームレスにループし、流体がずっと動き続けているような印象を与える。ワシントン大学とFacebookに所属する研究者は2021年6月22日、「Conference on Computer Vision and Pattern Recognition」(CVPR 2021)で、このアプローチについてのプレゼンテーションを行った。
「写真はある瞬間を捉えるが、静止画では多くの情報が失われる。例えば、何がその瞬間をもたらしたか、物がどのように変わりつつあるかといった情報だ」(アレクサンダー・ホリンスキ氏)。ホリンスキ氏はこのディープラーニング手法に関する研究論文の主著者で、ワシントン大学ポール G. アレン スクールオブコンピュータサイエンス&エンジニアリングの博士課程の学生だ。
さらに同氏はこう説明する。「われわれの手法は、ユーザーの入力や追加の情報を必要としないという点が特徴だ。写真さえあれば、シームレスにループする高精細の動画を出力できる。多くの場合、本物の動画のように見えるものだ」
1枚の写真から本物のような動画を作成する手法の開発は、この分野の研究では困難だとされていた。「実質的に未来を予測する必要があるからだ。だが、実世界では、この手法には無限に近い可能性がある」(ホリンスキ氏)
どのように動画を作成するのか
開発した手法はまず、写真が撮られたときに物がどのように動こうとしていたのかを予測し、情報を使ってアニメーションを作成する。
関連記事
- 複数のスマホで撮影したビデオから「4D映像」を生成、カーネギーメロン大
カーネギーメロン大学の研究チームが、スタジオや特殊なカメラを使わなくても、「4D映像」を生成できる手法を開発した。複数の「iPhone」で撮影したビデオ映像を組み合わせ、さまざまな角度から動きを見たり、視線を一時的に遮る人や物体を消去したりできる。 - ディープラーニングで生成された「ディープフェイク画像」を周波数領域で見破る ルール大学
ルール大学の研究チームが、ディープラーニング技術を用いて生成されたフェイク画像を識別する方法を開発した。 - MIT研究チーム、コピー&ペーストでGANモデルを編集できるツールを開発
マサチューセッツ工科大学(MIT)の研究チームが、Generative Adversarial Network(GAN:敵対的生成ネットワーク)モデルの条件を操作できるツールを開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.