「本人はどう聞こえているか」を客観視できる技術を東京工業大学の研究チームが開発：脳波信号から音声を再現

東京工業大学の研究チームは、脳波信号から音声を再構築する手法を開発した。CNNによって音声情報を表現しているパラメーターを推定し、耳で聞き分けられる母音を脳波信号から合成する。

[＠IT]

　東京工業大学と科学技術振興機構（JST）は2021年1月8日、畳み込みニューラルネットワーク（CNN）を用いて、脳波信号から音声を直接再構築する手法を開発したと発表した。音がどのように聞こえているのか、あるいは聞こえていないのかを客観的に把握でき、脳のどこを使っているのかを調べられる可能性があるとしている。

研究のイメージ

　今回の手法を開発したのは、東京工業大学科学技術創成研究院の准教授でJSTの「さきがけ研究者」を兼務する吉村奈津江氏と、同大学の大学院生の明石航氏、同研究院の助教を務める神原裕行氏、同研究院の特任助教を務める緒方洋輔氏、同研究院の教授を務める小池康晴氏、同研究院の特定准教授を務めるルドビコ・ミナチ氏の研究チーム。

脳波信号をCNNで音声に復元

　同研究チームは、被験者の頭皮に装着した32個の電極で「母音の『ア』と『イ』、白色雑音（ホワイトノイズ：同程度の強度で広い周波数成分が含まれる雑音）を聞いているとき」と「その後、聞いた音声を想起しているとき」のEEG（脳内の神経細胞の活動を反映した電気信号）を記録した。

　CNNを用いて、EEGから「被験者に聞かせた音源のパラメーター信号」を推定して音声を復元し、復元した音声が人間の耳で聞き分けられるかどうかを調べたところ、全ての被験者のEEGについて8割程度の判別できた。