ニュース
» 2023年05月24日 08時00分 公開

超長文が処理できるオープンソース商用利用可LLM「MPT-7B」が公開LLM最新モデル4種類のMPT-7Bが登場

MosaicMLはオープンソース、商用利用可のLLM最新モデル「MPT-7B」を発表した。この基本モデルを元に構築できるMPT-7B-Instruct、MPT-7B-Chat、MPT-7B-StoryWriter-65k+もあわせてリリースした。

[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 MosaicML Foundationは2023年5月5日(米国時間)、商業利用可能なオープンソースのLarge Language Models(LLM)、MPT(MosaicML Pretrained Transformer)シリーズをリリースした。最初のモデルである「MPT-7B」は、テキストとコードの1兆トークンをゼロから学習したトランスフォーマーモデルである。MPT-7Bにより、ユーザーはデータの準備からトレーニング、ファインチューニング、デプロイまで、プライベートなモデルを自ら構築できる。

 MPTモデルシリーズは以下の4種である。

MPT-7B Base

 ベースモデルの「MPT-7B Base」は、デコーダーのみを持つトランスフォーマーモデルで、67億のパラメータを持つ。1兆トークンのテキストとコードでトレーニングを行った。

Copyright © ITmedia, Inc. All Rights Reserved.

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。