AIで1枚の景観画像からタイムラプス動画を自動生成 筑波大と豊橋技術科学大のグループ：景観予測シミュレーションなどへの応用を目指す

筑波大学システム情報系で助教を務める遠藤結城氏らは、1枚の景観画像から、時間が経過していく様子の動画を自動生成するAIを開発した。変化が速い雲などの動きと、変化が遅い日没などによる色の移り変わりを、異なるニューラルネットワークに学習させた。

[＠IT]

　筑波大学システム情報系の助教を務める遠藤結城氏と同准教授の金森由博氏、豊橋技術科学大学情報・知能工学系の教授を務める栗山繁氏のグループは2019年11月5日、1枚の景観画像から、時間が経過していく様子の動画を自動生成するAI（人工知能）技術を開発したと発表した。時間経過の様子を記録した大量の定点観測動画（タイムラプス動画）を学習データとして利用した。従来の技術よりも、高い解像度で尺の長い動画を生成できるという。

（出典：遠藤結城氏のプロジェクトページ）

雲などの細かい動きと全体的な色の変化を別々に学習

　景観を定点観測すると、雲などの細かい動きは時間の経過に伴って比較的速く変化するのに対して、夕焼けや日没などによる色は全体的でその変化が遅い。遠藤氏らのグループは、この点に着目して、細かい動きと全体的な色の変化を、異なるニューラルネットワークに別々に学習させた。

　細かい動きについては、入力画像から得られた出力画像を、再度入力画像に用いて予測し、短い時間での変化を追うようにした。全体的な色の変化については、入力画像からある時刻への色の変化を直接予測できるようにして、時間間隔を広くとれるようにした。さらに流れ場や色変換マップとして中間データを予測し、長い期間を予測する場合でも誤差累積の影響を受けないようにした。従来の技術で長い期間を予測する場合は、誤差の累積が課題となっていた。

　こうした手法によって、640×360画素で1000フレーム以上といった動画を出力できる。従来の技術では、128×128画素程度で32フレーム程度と、低い品質の動画出力にとどまっていた。

　さらに、ニューラルネットワークによって抽出する潜在変数を用いて、動きや色を制御できるようにした。例えば、雲の動く方向や色の変化の仕方などを利用者が制御できる。この機能は、1枚の静止画から未来を予測する場合、例えば雲は右だけでなく左にも動き得るといった不確定性に対処する。

　遠藤氏らのグループでは、今後、人の歩行などより複雑な動きの予測や、物理法則をより忠実に再現する課題に取り組みながら、景観予測シミュレーションなどへの応用を目指すとしている。