テキストから「3D画像」生成、Googleなどが開発したAI「DreamFusion」の仕組みとは：トレーニング用3Dデータが不要な手法を開発

Google Researchとカリフォルニア大学バークレー校の研究チームは、テキストから3次元（3D）オブジェクトを生成するAI「DreamFusion」を開発した。2次元（2D）拡散モデルを用いる。

[＠IT]

　Google Researchとカリフォルニア大学バークレー校からなる研究チームは、入力されたテキストから3次元（3D）オブジェクトを生成するAI「DreamFusion」を開発した。2次元（2D）拡散モデルを用いる。2022年9月29日（米国時間）、このAIに関する論文をオープンアクセスリポジトリ「arXiv」に提出した。論文は同日から公開されている。

　テキストから2D画像を生成するAIの最近のブレークスルーは、何十億もの画像とテキストのペアでトレーニングされた拡散モデル（diffusion model）によってもたらされた。拡散モデルは、純粋なノイズから少しずつノイズを除去していき、最終的に何らかの画像を得るという考え方に基づいている。

　このアプローチを3D画像の生成に適用するには、ラベル付けされた3D資産の大規模データセットと、3Dデータの効率的なノイズ除去アーキテクチャが必要だが、どちらも2022年9月末時点では存在しない。

ではどうやって3D画像を生成するのか