Meta、オープンLLMの最新版「Llama 3.1」を発表 「4050億パラメーターモデル」が利用可能に1万6000超のNVIDIA H100 GPUでトレーニング、ザッカーバーグCEOが語る今後の展望

MetaはオープンLLMの最新版「Llama 3.1」を公開した。llama.meta.comとHugging Faceから無料でダウンロードできる。MetaのCEOであるマーク・ザッカーバーグ氏はLlama 3.1の公開に合わせて声明を発表し、オープンなAIの展望を語った。

» 2024年07月26日 08時00分 公開
[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 Metaは2024年7月23日(米国時間)、オープンの大規模言語モデル(LLM)の最新版「Llama 3.1」を発表した。llama.meta.comとHugging Faceから無料でダウンロードできる。

 Llama 3.1は80億(8B)、700億(70B)、4050億(405B)パラメーターの3つのサイズのモデルがある。405BモデルはLlama 3.1で新たにラインアップされたモデルで、8B、70Bモデルは前バージョン(Llama 3モデル)をアップグレードしたものだ。3モデルとも、コンテキスト長はLlama 3の8Kから128Kへと大幅に拡張されている。

 「これまでオープンLLMは、機能とパフォーマンスに関してクローズドモデルの後塵(こうじん)を拝してきた。だが、Llama 3.1 405Bモデルは、一般的な知識、操作性、数学、ツール使用、多言語翻訳における最先端の機能において、既存のトップAI(人工知能)モデルに匹敵する初のオープンモデルだ」と、Metaは述べている。また405Bモデルは、合成データ生成やモデル抽出といった新しいワークフローの火付け役になるとしている。

 8B、70Bモデルも含めて、Llama 3.1は128Kのコンテキスト長、最先端のツール使用、推論機能の強化により、長文テキストの要約、多言語会話エージェント、コーディング支援などの高度なユースケースをサポートする。対応言語は英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語だ。

 Metaはライセンスを変更し、開発者が405BなどLlamaモデルの出力を使用して、他のモデルを改良できるようにしている。

Llama 3.1 405Bモデルは各種ベンチマークでOpenAIの「GPT-4」「GPT-4o」や、Anthropicの「Claude 3.5 Sonnet」に匹敵

Copyright © ITmedia, Inc. All Rights Reserved.

スポンサーからのお知らせPR

注目のテーマ

Microsoft & Windows最前線2025
AI for エンジニアリング
ローコード/ノーコード セントラル by @IT - ITエンジニアがビジネスの中心で活躍する組織へ
Cloud Native Central by @IT - スケーラブルな能力を組織に
システム開発ノウハウ 【発注ナビ】PR
あなたにおすすめの記事PR

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。