頭で考えたことがそのまま画像に？ Metaが脳活動から画像をリアルタイム解読するAIシステムの開発進捗を公開：ブレインコンピューターインターフェースの足掛かりに

Metaは脳の活動を基に脳が認識している画像をリアルタイムで再構成するAIシステムの開発進捗を同社の公式ブログで紹介した。システムは、非侵襲的神経画像技術である脳磁図法（MEG）を使用して、脳内の視覚表現の展開を解読できるという。

[＠IT]

　Metaは2023年10月18日（米国時間）、脳の活動を基に脳が認識している画像をリアルタイムで再構成するAIシステムの開発進捗（しんちょく）を同社の公式ブログで紹介した。システムは、非侵襲的神経画像技術である脳磁図法（MEG）を使用して、脳内の視覚表現の展開を解読できるという。

　このAIシステムは、脳によって認識および処理された画像を再構築してリアルタイムに展開できる。これにより、画像がどのように脳内で表現され、人間の知性の基盤として使用されるのかについて科学的に理解できるようになることが期待できるという。長期的には、臨床現場での非侵襲的なブレインコンピュータインタフェースへの足掛かりとなり、脳損傷を受けて会話能力を失った人々を助ける可能性もある。

　同社が開発したのは、MEG信号から音声認識をデコードするように訓練された最新のアーキテクチャを活用して、画像エンコーダー、脳エンコーダー、画像デコーダーの3つで構成されているシステムだ。画像エンコーダーは、脳とは独立して画像の豊富な表現セットを構築する。脳エンコーダーは、MEG信号を埋め込まれた画像に合わせて調整することを学習する。最後に、画像デコーダーは、これらの脳表現を考慮して、もっともらしい画像を生成する。

　同社は、参加者から取得した画像データベースに基づいて、実験データを共有する学術研究者の国際コンソーシアム「Things」が公開したMEG記録の公開データセットを使用した。このデータセットを使用し、アーキテクチャをトレーニングした。

　まず、さまざまな事前トレーニング済み画像モジュールで得られたデコード性能を比較し、脳信号が「DINOv2」（Metaが開発したコンピュータビジョンモデル）などのAIシステムと最もよく一致することを示す。DINOv2は、人間による注釈なしで視覚表現を学習できる自己教師型アーキテクチャだ。この結果から、自己教師あり学習によってAIシステムが脳のような表現を学習できることを確認した。アルゴリズム内の人工ニューロンは、同じ画像に反応して脳の物理ニューロンと同様に活性化される傾向にある。

ボランティア参加者が見る画像（左）と、各瞬間のMEG活動からデコードされた画像（右）

　このようなAIシステムと脳の間の機能的な連携を利用して、参加者が見たものと同様の画像の生成を補助できる。同社の研究結果では、機能的磁気共鳴画像法（functional Magnetic Resonance Imaging：fMRI）の方が画像をより適切にデコードできることを示しているが、同社のMEGデコーダーはあらゆる瞬間に使用できるため、脳活動からデコードされた画像の連続的に流れていく様子を生成する。

ボランティア参加者が見る画像（左）とfMRI活動からデコードされた画像（右）

　生成された画像は不完全なままだが、再構成された画像がオブジェクトカテゴリーなどの高レベルの特徴の豊富なセットを保持していることを示唆している。ただし、AIシステムは、生成された画像内の一部のオブジェクトの位置が間違っていたり、向きが間違っていたりすることにより、不正確な画像を生成することがしばしばある。特に、「Natural Scene Dataset」を使用して、MEGデコードから生成された画像は、比較的遅いペースではあるが空間的に正確な神経画像技術であるfMRIでデコードされた画像よりも精度が低いままであることを示している。

　「AIシステムは、MEGを使用して脳内で生成される複雑な表現の立ち上がりをミリ秒の精度で解読できると示している。より一般的には、この研究は、人間の知能の基礎を理解し、現在の機械学習アルゴリズムと比較してその類似点と相違点を特定し、最終的には人間のように学習および推論するように設計されたAIシステムを開発するというMetaの長期的な研究イニシアチブを強化するものだ」（Meta）