NVIDIA、LLMのトレーニングに使用できるオープンモデルファミリー「Nemotron-4 340B」を発表：LLMをトレーニングするための合成データを生成

NVIDIAは、LLMをトレーニングするための合成データを生成するオープンモデルファミリー「Nemotron-4 340B」を発表した。

[＠IT]

　NVIDIAは2024年6月14日（米国時間）、大規模言語モデル（LLM）をトレーニングするための合成データを生成するオープンモデルファミリー「Nemotron-4 340B」を発表した。医療、金融、製造、小売など、あらゆる業界の商用アプリケーション向けのLLMに対応している。

　高品質のトレーニングデータは、カスタムLLMの性能、精度、応答の質を高める上で重要だが、堅牢（けんろう）なデータセットは、コストが膨大でアクセスしにくい場合がある。

　独自のオープンモデルライセンス（NVIDIA Open Model License）を採用しているNemotron-4 340Bにより、開発者は強力なLLMの構築に役立つ合成データを、無料でスケーラブルに生成できると、NVIDIAは述べている。

　Nemotron-4 340Bファミリーに含まれるBase（基本）モデル、Instruct（指示）モデル、Reward（報酬）モデルは、LLMのトレーニングと改良に使われる合成データを生成するパイプラインを形成する。これらのモデルは、オープンソースの「NVIDIA NeMo」フレームワークによるファインチューニングと、オープンソースの「NVIDIA TensorRT-LLM」ライブラリを用いた推論に最適化されている。

　NVIDIA NeMoは、データのキュレーション、カスタマイズ、評価など、エンドツーエンドのモデルトレーニングのためのフレームワーク。NVIDIA TensorRT-LLMは、テンソル並列性を利用した大規模かつ効率的な推論を可能にするという。

　Nemotron-4 340BはHugging Faceからダウンロードでき、間もなく「ai.nvidia.com」でアクセスできるようになる。ai.nvidia.comではNemotron-4 340Bは、どこにでもデプロイ（展開）できる「NVIDIA NIM」マイクロサービスとしてパッケージ化され、標準APIとともに提供される。

Nemotron-4 340Bによる合成データの生成

　LLMは、大規模で多様なラベル付きデータセットへのアクセスが制限されているシナリオにおいて、開発者が合成トレーニングデータを生成するのに役立つ。

　Nemotron-4 340B Instructモデルは、実世界のデータの特徴を模倣した多様な合成データを生成することで、さまざまな分野にわたるカスタムLLMの性能と堅牢性の向上に向けて、データの質の改善を支援する。

　さらに、開発者はAIが生成したデータの質を高めるために、Nemotron-4 340B Rewardモデルを使って応答をフィルタリングできる。Rewardモデルは、「有用性」「正確性」「一貫性」「複雑性」「冗長性」の5つの属性で応答を評価する。このモデルは、報酬モデルを評価するHugging Face RewardBenchリーダーボードで、高い順位を獲得しているという。

Nemotron-4 340Bの合成データ生成パイプライン（提供：NVIDIA）

　NVIDIAは、上の図の合成データ生成パイプラインについて、次のように説明している。

1. Nemotron-4 340B Instructモデルがテキストベースの合成出力を生成するために使用される
2. 評価モデルであるNemotron-4 340B Rewardモデルが、生成されたテキストを評価し、フィードバックを提供することで、反復的な改善を導き、合成データの正確性、関連性、要件との整合性を確保する

　なお、独自のデータをNemotron-4 340Bに含まれるHelpSteer2データセットと組み合わせて使用することで、Nemotron-4 340B Baseモデルをカスタマイズし、独自の指示モデルや報酬モデルを作成することもできる。