Meta、オープンLLMの最新版「Llama 3.1」を発表 「4050億パラメーターモデル」が利用可能に：1万6000超のNVIDIA H100 GPUでトレーニング、ザッカーバーグCEOが語る今後の展望

MetaはオープンLLMの最新版「Llama 3.1」を公開した。llama.meta.comとHugging Faceから無料でダウンロードできる。MetaのCEOであるマーク・ザッカーバーグ氏はLlama 3.1の公開に合わせて声明を発表し、オープンなAIの展望を語った。

[＠IT]

　Metaは2024年7月23日（米国時間）、オープンの大規模言語モデル（LLM）の最新版「Llama 3.1」を発表した。llama.meta.comとHugging Faceから無料でダウンロードできる。

　Llama 3.1は80億（8B）、700億（70B）、4050億（405B）パラメーターの3つのサイズのモデルがある。405BモデルはLlama 3.1で新たにラインアップされたモデルで、8B、70Bモデルは前バージョン（Llama 3モデル）をアップグレードしたものだ。3モデルとも、コンテキスト長はLlama 3の8Kから128Kへと大幅に拡張されている。

　「これまでオープンLLMは、機能とパフォーマンスに関してクローズドモデルの後塵（こうじん）を拝してきた。だが、Llama 3.1 405Bモデルは、一般的な知識、操作性、数学、ツール使用、多言語翻訳における最先端の機能において、既存のトップAI（人工知能）モデルに匹敵する初のオープンモデルだ」と、Metaは述べている。また405Bモデルは、合成データ生成やモデル抽出といった新しいワークフローの火付け役になるとしている。

　8B、70Bモデルも含めて、Llama 3.1は128Kのコンテキスト長、最先端のツール使用、推論機能の強化により、長文テキストの要約、多言語会話エージェント、コーディング支援などの高度なユースケースをサポートする。対応言語は英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語だ。

　Metaはライセンスを変更し、開発者が405BなどLlamaモデルの出力を使用して、他のモデルを改良できるようにしている。

Llama 3.1 405Bモデルは各種ベンチマークでOpenAIの「GPT-4」「GPT-4o」や、Anthropicの「Claude 3.5 Sonnet」に匹敵