顔データを含んだコミュニケーション解析に役立つ、コーパスをNEDOと東京電機大が公開：非言語情報も分かる

NEDOと東京電機大学は、グループコミュニケーション時の人の表情などの映像や音声、各種センサーによる体の動きなどの情報を基にコーパスを作成した。機械学習を用いた行動認識システムの学習データや、会話分析などに活用できる。

[＠IT]

　国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）と東京電機大学は2019年2月7日、グループコミュニケーション時の人の表情などの映像や音声、各種センサーによる体の動きなどの情報を基に作成したコーパス（データベース）を、大学や企業の研究機関に向けて提供開始した。

　このコーパスは、機械学習を用いた行動認識システムの学習データとして活用できる。発言やジェスチャー、視線などの行動に対してラベルを付けてあり、会話分析などにも利用できる。

公開したコーパスの一例（出典：NEDO）

センサー情報から何を引き出せるのか

　作成したコーパスには、東京電機大学の学生6人による議論と社会人6人による議論がそれぞれ2セッションずつ含まれている。グループディスカッションの時間は合計100分。

　グループディスカッション時の発言に加え、顔の表情、腕の上がり下がり具合といったジェスチャー、視線などのデータを収録した。

　従来のコーパスでは個人の顔データを含めることができなかったが、今回作成したコーパスでは実験協力者の同意を得て、コミュニケーション行動の分析に重要な要素となる表情や視線などの顔データも取り込んだ。

センサーから引き出せる情報と議論の内容との関係（出典：NEDO）

どうやって情報を集めたのか

　ディスカッションの様子は6台のカメラで撮影した。内訳は、個人の振る舞いを正面から観察するカメラが3台、ディスカッションの様子全体を撮影するカメラが1台、360度のパノラマ映像を撮影するカメラが1台、天井から着座位置や顔の向きを撮影するカメラが1台である。複数のカメラで同時撮影しており、多方向からコミュニケーションを観察できる。

　映像の撮影と同時に、各人に取り付けたヘッドセットマイクによる音声も収録した。参加者個々の発言を個別に分析できる。

　さらに、加速度と角速度のセンサーを参加者の頭部と胸部、両腕部の計4カ所に装着して、体の動きや姿勢などのデータも収録した。

　NEDOは、2017年から「次世代人工知能技術の社会実装に関するグローバル研究開発」の先導研究テーマの一つとして、東京電機大学と共同で、次世代AIの深層学習に使う大量データを収集、整理し、時系列分析技術の確立とデータへの注釈付けの半自動化を目指したプロジェクトに取り組んでいる。

　東京電機大学は同プロジェクトで、カメラやセンサーを使って学生の行動を詳細に把握することで、行動とコミュニケーションスキルとの因果関係を科学的に抽出し、コミュニケーションスキル向上に役立てるための基本技術の確立を目指した研究を行っている。