Meta、次世代オープンLLM「Meta Llama 3」を発表:80億と700億のパラメーターを持つ最初の2モデルを公開
Metaは、大規模言語モデル「Meta Llama 3」の8Bおよび70Bパラメーターモデルを発表した。
Metaは2024年4月19日(米国時間)、大規模言語モデル(LLM)「Meta Llama 3」の最初の2モデルを発表した。
これらのモデルは、幅広いユースケースをサポートできる8B(80億)と70B(700億)のパラメーターを持ち、事前トレーニング済みであり、インストラクションファインチューニングされた言語モデルを特徴としている。
Metaは、Llama 3について「広範な業界ベンチマークで最先端の性能を実証するだけでなく、推論の改善を含む新機能を提供する。このクラスのオープンソースモデルとして、現時点で最高の性能を備えている」とうたっている。
Llama 3は間もなく、主要なクラウドやAPIプロバイダーで利用可能になる。その中にはAmazon Web Services(AWS)、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflakeなどが含まれる。またLlama 3は、AMD、AWS、Dell Technologies、Intel、NVIDIA、Qualcommが提供するハードウェアプラットフォームからもサポートされる。
強化されたパフォーマンス
Metaは、Llama 3の8Bおよび70Bパラメーターモデルは、これらのスケールにおけるLLMの新たな最先端を確立したとしている。Metaのベンチマークによると、Llama 3はLlama 2と比べてトークンの生成数が最大15%減少した。Llama 3 8BはLlama 2 7Bよりもパラメーターが1B多いが、トークナイザー効率の改善とグループクエリアテンション(GQA)の導入により、Llama 2 7Bと同等の推論効率を維持していることも確認された。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
- Metaは生成AIの研究開発を支えるAIインフラ環境をどのように構築しているのか
AGIの構築をビジョンとして掲げるMetaは、生成AIインフラをどう構築しているのか。公式エンジニアリングブログで最新の取り組みを紹介した。 - Meta、商用利用可能なオープンソースLLM「Llama 2」を提供開始 「MPT」や「Falcon」を上回る成績
Metaは、次世代のオープンソース大規模言語モデル「Llama 2」を提供開始した。研究および商用に無料で利用できる。 - 「Metaが公開した『LLaMa 2』はオープンソースではない」――OSIが声明
オープンソース推進団体のOpen Source Initiative(OSI)は、「Metaが公開した『LLaMa 2』のライセンスはオープンソースではない」との声明を発表した。