雨天や夜間の見にくい画像、視認性を高める新手法をシンガポールの研究者が開発：複数人の重なり合った画像から姿勢を推定する精度も向上

雨天や夜間に撮影した画像には課題がある。視認性が悪いからだ。シンガポールの大学の研究者がこれを改善する新手法を開発した。併せて、複数人が重なって見える画像から姿勢を推定する精度の高い手法も公開した。

[＠IT]

　シンガポールのYale-NUS Collegeは、2021年7月19日（シンガポール時間）、コンピュータビジョンを改善する3種類の手法を発表した。

　1番目は夜間に撮影した画像にある人工光の影響を抑えるもの。2番目は雨天の画像に現れている雨の影響を抑えるもの。3番目は複数人が重なって見える画像から人物の姿勢を推定する精度の高い手法だ。

雨天や夜間に撮影した画像には固有のノイズが入る

　夜間に撮影した画像は、人工光によるノイズの影響を受ける。雨天の画像は雨の筋や雨もや（ベール）の影響を受ける。

　自動監視システムや自動運転車など、多くのコンピュータビジョンシステムは入力画像の視認性が良好ではない場合、性能が低下し、場合によっては動作しなくなる。Yale-NUS Collegeの研究チームが開発した新手法は、これらのシステムの性能を向上させる可能性があるという。

　研究チームは夜間の画像と雨天の画像の画質をそれぞれ向上させるディープラーニングアルゴリズムを導入した。

夜間の画像を鮮明に

　夜間の画像を鮮明にしようと明度を上げると、ノイズや人工光の悪影響も強くなる。今回の研究の結果、明るさを高めた場合でも、ノイズと光効果（まぶしさを感じさせるグレア、にじみの効果があるグロー、投光器のようなフラッドライトの明かり）を抑え、鮮明な夜間画像を得ることができた。

左側の入力画像に開発した手法を施すことで人工光の効果を抑制し、視認性を向上できた（出典：Yale-NUS College）

　開発した手法は、夜間の画像におけるグレアの影響を弱めることができる。既存の手法では処理できなかった問題だ。

既存の視認性向上手法は、グレアなどの光効果を処理できず、かえってグレアが強くなることもあった（出典：Yale-NUS College）

雨天の画像から雨の影響を取りのぞく

　雨天の画像に関する研究では、フレームアラインメントを採用することで画質の低下を抑えた。複数のフレームにランダムに現れて、画質を低下させる雨の筋の影響を取り除いた。

既存の手法を用いた画像　雨の筋や雨もやの影響が大きい（出典：Yale-NUS College）

雨の筋を取り除いた中間出力（出典：Yale-NUS College）

　さらに、移動カメラを使って深度推定を行い、大量の雨滴による雨もやの効果を取り除いた。既存の手法は雨の筋の除去に重点を置いている。新手法では、雨の筋はもちろん、雨もやの効果も取り除くことができる。

新手法によって雨の筋と雨もやの効果の両方を取り除いた最終出力（出典：Yale-NUS College）

姿勢推定の精度を向上

　単眼カメラで撮影された画像から人間の姿勢を検知しようとした場合、特有の難しさがある。人が複数いると悪影響を受けるからだ。人々が近くで何らかのやりとりをしている場合や、重なって見える場合は特にそうだ。

　単眼カメラを用いて、3次元姿勢を推定する場合、2つの手法がこれまで使われてきた。トップダウン法とボトムアップ法だ。それぞれ欠点がある。

5人の人物が一部重なって写っている3枚の画像　これを入力値とした（出典：Yale-NUS College）

トップダウン法の推定結果　人物が重なって見えない部分の推定が不得手だ（出典：Yale-NUS College）

ボトムアップ法の推定結果　スケールバリエーション（大きさ）の処理が弱く、後方の2人の姿勢推定が不正確だ（出典：Yale-NUS College）

　研究チームはこの2つを組み合わせ、人が複数いる場合でも、推定の信頼性を高め、人物間の距離（や大きさ）をより確実に処理する新手法を開発した。

新手法による推定　トップダウン法やボトムアップ法よりも精度が高い（出典：Yale-NUS College）

　開発した新手法は、ビデオ監視やビデオゲーム、スポーツ放送といった分野に応用できる可能性がある。

　研究チームは、今回の新手法を著名なコンピュータサイエンスカンファレンスである「2021 Conference on Computer Vision and Pattern Recognition」（CVPR、開催期間2021年7月19〜25日）で発表した。