長時間の動画であっても「ポイントを押さえた説明文」を数秒で作成する技術を開発 NEC：事故調査報告書の作成や製造、建設現場での作業記録作成などに活用

NECは、長時間の動画から利用者の目的に応じた短縮動画と説明文章を自動生成する技術を開発した。大規模言語モデルと映像認識AIを組み合わせた。1時間以上の動画から、目的のシーンの動画と説明文章を数秒間で作成できるという。

[＠IT]

　NECは2023年12月5日、長時間の動画から利用者の目的に応じた短縮動画と説明文章を自動生成する技術を開発したと発表した。

開発した自動生成技術の分析の流れ（提供：NEC）

大規模言語モデルと映像認識AIを組み合わせて実現

　NECが開発した技術は大規模言語モデル（LLM）と映像認識AI（人工知能）を組み合わせで実現している。

　100個以上の映像認識AIを活用して、シーンを構成する人物や車、建物、動物、樹木といった自然物、天気など、さまざまな物体や環境とそれらの変化を個別に認識する。

　その認識結果をLLMで分析することで、利用者が求めるシーンを効率的に見つけ出すことができ、目視による動画の繰り返し確認を不要にした。対象分野のサンプル映像を使ってチューニングすれば、専門知識を基に、動画内で起きた出来事を正しく理解できるLLMを構築できる。これによって、生成する文章の品質も向上させられるという。

　1時間以上の動画であっても、目的のシーンの動画と説明文章を数秒程度で作成できる。例えばドライブレコーダーの動画分析に活用すると、事故発生時の状況や発生に至ったいきさつなどを説明する文章と短縮動画を自動で生成できる。また、損害保険金請求や交通安全指導などに向けた事故調査報告書の自動作成も可能だ。

開発した自動生成技術のデモ画面（提供：NEC）

　NECがドライブレコーダーの動画から事故調査報告書を作成するユースケースに適用したところ、従来人手で行っていた「事故原因となったシーンの探索」「報告書案の作成」などにかかる時間を半減できたという。

　NECは2024年3月に、開発した技術の試用版を損害保険会社や自動車メーカーなどに提供開始し、ドライブレコーダーの動画を活用した事故報告書などの資料作成を支援する。今後は同技術を、看護、介護記録の作成支援、製造、建設現場での作業記録の作成支援、自動運転用AIに学習させる事故シーンの収集と説明文の作成、放送映像向け特定コンテンツの収集とナレーション原稿の作成といったユースケースに展開する予定だ。