東芝らがマラソンなどの中継向け映像認識AIを開発、選手に追従し映像を自動編集：見どころを自動抽出

東芝と東芝デジタルソリューションズは番組制作を支援する映像認識AIを開発した。ロードレース中の選手を検出、追従し、所属するチーム名もリアルタイムで認識する。追い越しシーンなど、レース中の見どころを自動的に抽出できるため、長時間の人的作業負荷を軽減できる。

[＠IT]

　東芝と東芝デジタルソリューションズは2018年8月2日、日本テレビ放送網と共同で、番組制作を支援する画像解析AI（人工知能）を開発したと発表した。今回開発したのは、駅伝やマラソンなどのロードレース中継に向けた映像の自動解析技術。

　映像中の選手を検出し、追従することに加えて、ユニフォームやゼッケンなどの特徴を捉えて、所属するチーム名もリアルタイムで認識する。98.1％の精度で選手を識別できることを実証したとしている。

複数の中継映像（左上）から選手を検出、追従し、選手個人を認識できる　検出時に上半身と顔の両方を対象とすることで、顔が隠れた場合にも対応できる。選手群とは動きが異なる人物は観客として除去する

　今回開発したAIでは、選手の上半身と顔を同時検出し、その両方を利用して追従するようにした。ロードレース中継の映像では走行中に顔が見えないシーンがあるが、上半身と顔を同時検出することで、そのようなときでも高い精度で選手を追従できる。

　さらに、ユニフォームやゼッケンなどの特徴を基にチーム名を認識させるため、暗い画像やぼやけた画像などを事前に学習させた。これにより、人が見て認識が困難な映像であっても、チーム名を特定できるという。

　選手と観客を区別して抽出するロードレース向けの観客矩形（くけい）フィルタリング技術も開発した。これにより、認識精度を向上させただけでなく、処理時間も削減できた。

映像全体から必要な部分を探し出す

　今回開発した技術は、映像から特定のチームや選手を自動的に抽出する機能も備える。これまで手作業に頼っていた追い越しシーンなど、レース中の見どころの抽出を自動化できる。

　従来、ロードレースの番組制作では、複数台のカメラで撮影した映像から選手を抽出しなければならず、各映像に映っている選手を手作業で記録するなど、多くを人手に頼っていた。今回開発した画像解析AIにより、こうした時間と手間のかかる作業を大幅に軽減できるとしている。

　なお今回の画像解析AIは、2018年8月1日に第71回（2017年度）映画テレビ技術協会 技術開発奨励賞を受賞した他、2017年度映像情報メディア学会技術振興賞進歩開発賞や、第24回画像センシングシンポジウム（SSII2018）デモンストレーション賞、第44回放送文化基金賞 個人・グループ部門 放送技術も受賞している。