NIIが「学習データ含め全てオープンにした」LLMを公開 学習用日本語データを約5920億トークン用意、コードは何億トークン？：「オープンかつ日本語に強いLLM」を目指し、全部で約2.1兆トークン学習させる

NIIは、約1720億パラメーターの大規模言語モデル「LLM-jp-3 172B beta1」のプレビュー版を公開したと発表した。フルスクラッチ学習で作成され、学習データを含めて全てオープンになっている。

[＠IT]

　情報・システム研究機構 国立情報学研究所（NII）は2024年9月17日、大規模言語モデル（LLM）のプレビュー版「LLM-jp-3 172B beta1」を公開したと発表した。フルスクラッチ学習で作成されており、学習に使用したデータも公開されている。同研究所によると学習データを含めて全てオープンにしたLLMとしては世界最大規模だという。

プレスリリース

学習用として約5920億トークンの日本語を用意、コードは何億トークン？