Meta、オープンLLMの最新版「Llama 3.1」を発表 「4050億パラメーターモデル」が利用可能に：1万6000超のNVIDIA H100 GPUでトレーニング、ザッカーバーグCEOが語る今後の展望

MetaはオープンLLMの最新版「Llama 3.1」を公開した。llama.meta.comとHugging Faceから無料でダウンロードできる。MetaのCEOであるマーク・ザッカーバーグ氏はLlama 3.1の公開に合わせて声明を発表し、オープンなAIの展望を語った。

[＠IT]

　Metaは2024年7月23日（米国時間）、オープンの大規模言語モデル（LLM）の最新版「Llama 3.1」を発表した。llama.meta.comとHugging Faceから無料でダウンロードできる。

　Llama 3.1は80億（8B）、700億（70B）、4050億（405B）パラメーターの3つのサイズのモデルがある。405BモデルはLlama 3.1で新たにラインアップされたモデルで、8B、70Bモデルは前バージョン（Llama 3モデル）をアップグレードしたものだ。3モデルとも、コンテキスト長はLlama 3の8Kから128Kへと大幅に拡張されている。

　「これまでオープンLLMは、機能とパフォーマンスに関してクローズドモデルの後塵（こうじん）を拝してきた。だが、Llama 3.1 405Bモデルは、一般的な知識、操作性、数学、ツール使用、多言語翻訳における最先端の機能において、既存のトップAI（人工知能）モデルに匹敵する初のオープンモデルだ」と、Metaは述べている。また405Bモデルは、合成データ生成やモデル抽出といった新しいワークフローの火付け役になるとしている。

　8B、70Bモデルも含めて、Llama 3.1は128Kのコンテキスト長、最先端のツール使用、推論機能の強化により、長文テキストの要約、多言語会話エージェント、コーディング支援などの高度なユースケースをサポートする。対応言語は英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語だ。

　Metaはライセンスを変更し、開発者が405BなどLlamaモデルの出力を使用して、他のモデルを改良できるようにしている。

Llama 3.1 405Bモデルは各種ベンチマークでOpenAIの「GPT-4」「GPT-4o」や、Anthropicの「Claude 3.5 Sonnet」に匹敵

　Metaは、各種のベンチマークデータセットによるLlama 3.1と競合モデルの性能評価と、実世界のシナリオでの人間による比較評価の結果を、下の表とグラフで紹介している。

　Metaの実験的評価は、フラグシップモデルのLlama 3.1 405Bモデルがさまざまなタスクにおいて、OpenAIの「GPT-4」「GPT-4o」や、Anthropicの「Claude 3.5 Sonnet」など主要な基盤モデルに匹敵する競争力を持つことを示唆している。Llama 3.1 8B、70Bモデルも、同程度のパラメーター数を持つクローズドモデルやオープンモデルに対抗できるという。

Llama 3.1 405Bモデルと競合モデルの性能比較（提供：Meta）

Llama 3.1 8B、70Bモデルと競合モデルの性能比較（提供：Meta）

人間の優劣評価によるLlama 3.1 405Bと競合モデルの比較（提供：Meta）

4050億パラメーターモデルを含む3モデルをどのように構築したのか

　Llama 3.1の3モデルは、いずれも15兆（15T）を超えるトークンでトレーニングされている。この規模でのトレーニングを妥当な時間で実施し、成果を挙げるために、Metaはトレーニングスタック全体を大幅に最適化し、モデルトレーニングに1万6000以上の「NVIDIA H100 GPU」を使用したという。

　モデル開発プロセスをスケーラブルかつシンプルなものにすることを重視した設計を進めた上で、トレーニングの安定性も考慮し、エキスパート混合モデルではなく、標準的なデコーダーのみのトランスフォーマーモデルアーキテクチャを採用し、小規模な調整を加えたとしている。

レファレンスシステムを提供

　Metaは「開発者が自分のアイデアに沿った独自の製品、サービス（カスタムエージェントなど）を柔軟に設計、構築できる広範なLlamaシステムにアクセスできるようにする」というビジョンを描いている。

　責任あるAI開発を支援しながらこのビジョンを実現することを目指し、Metaはレファレンスシステムをリリースした。その中には幾つかのサンプルアプリケーションと新しいコンポーネントが含まれている。これらのコンポーネントには、「Llama Guard 3」（LLMのデプロイにおける入出力のガードレールを提供）や「Prompt Guard」（プロンプトインジェクション攻撃を防ぐチューニング可能なモデル）などがある。

　サードパーティープロジェクトがLlamaモデルをより簡単に活用できるようにするための標準インタフェースとなる「Llama Stack API」に関する意見の募集も開始している。

25社以上のパートナーがLlama3.1関連サービスを提供

　Metaは、Llamaを中心とした幅広いエコシステムを成長させるため、さまざまな企業と協力している。Amazon Web Services（AWS）、NVIDIA、Databricks、Groq、Dell Technologies、Microsoft Azure、Google Cloud、Snowflakeなど25社以上のパートナーが、発表当日からLlama 3.1関連サービスを提供している。

ザッカーバーグCEO「オープンなAIは、全ての人に最大の経済的機会と安全保障をもたらす」

　MetaのCEOであるマーク・ザッカーバーグ氏は、Llama 3.1の公開に合わせて声明を発表し「オープンソースのLinuxが現在のクラウドやモバイルコンピューティングを支えているように、オープンなAIが今後発展し、究極的には、全ての人に最大の経済的機会と安全保障をもたらす」との展望を述べた。

　MetaはLlama 3.1では、これまでのアプローチをより明確に推し進め、「できるだけ多くの開発者やパートナーがLlamaを使えるように社内でチームを作り、エコシステムの中でより多くの企業が独自機能を顧客に提供できるよう、積極的にパートナーシップを構築している」と説明している。

　「Llama 3.1のリリースは、ほとんどの開発者がオープンなAIをメインに使い始めるという業界の転機になると信じている」（ザッカーバーグ氏）