NIIが「学習データ含め全てオープンにした」LLMを公開 学習用日本語データを約5920億トークン用意、コードは何億トークン?「オープンかつ日本語に強いLLM」を目指し、全部で約2.1兆トークン学習させる

NIIは、約1720億パラメーターの大規模言語モデル「LLM-jp-3 172B beta1」のプレビュー版を公開したと発表した。フルスクラッチ学習で作成され、学習データを含めて全てオープンになっている。

» 2024年09月20日 08時00分 公開
[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 情報・システム研究機構 国立情報学研究所(NII)は2024年9月17日、大規模言語モデル(LLM)のプレビュー版「LLM-jp-3 172B beta1」を公開したと発表した。フルスクラッチ学習で作成されており、学習に使用したデータも公開されている。同研究所によると学習データを含めて全てオープンにしたLLMとしては世界最大規模だという。

画像 プレスリリース

学習用として約5920億トークンの日本語を用意、コードは何億トークン?

Copyright © ITmedia, Inc. All Rights Reserved.

スポンサーからのお知らせPR

注目のテーマ

AI for エンジニアリング
「サプライチェーン攻撃」対策
1P情シスのための脆弱性管理/対策の現実解
OSSのサプライチェーン管理、取るべきアクションとは
Microsoft & Windows最前線2024
システム開発ノウハウ 【発注ナビ】PR
あなたにおすすめの記事PR

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。