3140億パラメーターのLLM「Grok-1」をオープンソース化 イーロン・マスク氏設立のxAI：AIチャットbot「Grok」の基盤

xAIは、大規模言語モデル「Grok-1」の基本モデルの重みとネットワークアーキテクチャを、Apache 2.0ライセンスでオープンソースとして公開した。

[＠IT]

　xAIは2024年3月17日（米国時間）、大規模言語モデル（LLM）「Grok-1」の基本モデルの重みとネットワークアーキテクチャを、Apache 2.0ライセンスでオープンソースとして公開した。xAIは、米著名経営者のイーロン・マスク氏が2023年7月に設立した。

　Grok-1は、xAIが2023年11月に発表したAIチャットbot「Grok」のベースとなるLLM。3140億パラメーターを持つMixture-of-Experts（MoE：混合エキスパート）モデルだ。与えられたトークンに対して重みの25％がアクティブになる。質問回答や情報検索、創作、コーディング支援などの自然言語処理タスクでの使用が想定されている。

　2023年10月に終了したGrok-1の事前トレーニングフェーズからの生のベースモデルチェックポイントであり、大量のテキストデータでトレーニングされている。xAIによると、「Rust」と「JAX」（オープンソースのPythonライブラリ）上でカスタムトレーニングスタックを使って、xAIによって一からトレーニングされた。ただし、特定のアプリケーション（対話のような）向けにファインチューニングされたモデルではない。

モデルの使用

　Grok-1基本モデルの重みは、GitHubリポジトリとHugging Faceページからダウンロードできる。GitHubリポジトリでは、Grok-1をテストするためのJAXサンプルコードも配布されている。

　モデルのサイズが大きいため、サンプルコードでモデルをテストするには、十分なGPUメモリを搭載するマシンが必要になる。