動画内の人物の動作タイミングを後処理で変更可能に、Googleが「オムニマット」を開発：後処理だけで動画内のリタイミングが可能に

Googleは動画編集を容易にする新手法「オムニマット」を開発した。動画を自動で複数のレイヤーに分離する際、被写体に付随する影や反射といった「シーン」の処理が容易になる。動画を複数のオムニマットに分離すれば、各レイヤーの再生速度を独立して変更する後処理だけで、普通に撮影した動画のリタイミングが可能になる。

[＠IT]

　Googleは2021年8月31日（米国時間）、動画編集を容易にする手法「オムニマット」について発表した。2021年6月にバーチャルで開催された「CVPR 2021」において開発者がオムニマットについてプレゼンテーションを行っており、今回はその内容を一般に解説した形だ。

　これまでの動画分離モデルでは、シーン内の被写体について「マット」を生成することで前景と背景を分離し、合成被写界深度の生成や画像の編集、画像からの背景の除去などを処理している。なお、マットとは、画像や動画の編集において、前景と背景の分離を定義する画像を指す。

　しかし、これまでの手法には、被写体に関連する影などのシーンエフェクトをうまく処理できないという限界があった。オムニマットを用いると、被写体に関連するシーンエフェクトを被写体と同時に、分離して抽出できる。

　動画を複数のレイヤーからなるオムニマットに分離する際には、同社が開発したレイヤードナチュラルレンダリングを利用した。

「MaskRCNN」などの従来の手法は、入力動画（左）から人と犬のマスクを生成できる（中央）。だが、関連するエフェクトは省かれている。Googleの新アプローチは、被写体に加えて影も含むマットを生成できる（右）（出典：Google、クリックで再生）

　オムニマットが従来の分離マスクと異なるもう一つの点は、反射やしぶき、タイヤの煙など部分的に透明なソフトエフェクトを扱えることだ。

　オムニマットは従来のマットと同様にRGBにアルファチャネルを追加したRGBAカラーモデルに従った画像であるため、従来の画像動画編集ツールを使って操作できる。そのため、たなびく煙の下の背景にテキストを挿入するといった用途に利用しやすい。

入力動画とオムニマットを用いた出力動画の一例（出典：Google、クリックで再生）

動画のレイヤー分離にCNNを利用した

　オムニマットを生成するには、まず入力動画を一連のレイヤーに分離しなければならない。動いている各被写体のレイヤーと、静止した背景オブジェクトのレイヤーだ。正確なオムニマットを生成するには、各被写体のレイヤーが、その被写体のエフェクトだけを捉えるようにする必要がある。