超長文が処理できるオープンソース商用利用可LLM「MPT-7B」が公開：LLM最新モデル4種類のMPT-7Bが登場

MosaicMLはオープンソース、商用利用可のLLM最新モデル「MPT-7B」を発表した。この基本モデルを元に構築できるMPT-7B-Instruct、MPT-7B-Chat、MPT-7B-StoryWriter-65k+もあわせてリリースした。

[＠IT]

　MosaicML Foundationは2023年5月5日（米国時間）、商業利用可能なオープンソースのLarge Language Models（LLM）、MPT（MosaicML Pretrained Transformer）シリーズをリリースした。最初のモデルである「MPT-7B」は、テキストとコードの1兆トークンをゼロから学習したトランスフォーマーモデルである。MPT-7Bにより、ユーザーはデータの準備からトレーニング、ファインチューニング、デプロイまで、プライベートなモデルを自ら構築できる。

　MPTモデルシリーズは以下の4種である。

MPT-7B Base

　ベースモデルの「MPT-7B Base」は、デコーダーのみを持つトランスフォーマーモデルで、67億のパラメータを持つ。1兆トークンのテキストとコードでトレーニングを行った。