NIIが「学習データ含め全てオープンにした」LLMを公開　学習用日本語データを約5920億トークン用意、コードは何億トークン？：「オープンかつ日本語に強いLLM」を目指し、全部で約2.1兆トークン学習させる

NIIは、約1720億パラメーターの大規模言語モデル「LLM-jp-3 172B beta1」のプレビュー版を公開したと発表した。フルスクラッチ学習で作成され、学習データを含めて全てオープンになっている。

» 2024年09月20日 08時00分公開

[＠IT]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　情報・システム研究機構国立情報学研究所（NII）は2024年9月17日、大規模言語モデル（LLM）のプレビュー版「LLM-jp-3 172B beta1」を公開したと発表した。フルスクラッチ学習で作成されており、学習に使用したデータも公開されている。同研究所によると学習データを含めて全てオープンにしたLLMとしては世界最大規模だという。

プレスリリース

学習用として約5920億トークンの日本語を用意、コードは何億トークン？

#CmsMembersControl .CmsMembersControlIn {width:100%;background:url(https://image.itmedia.co.jp/images/spacer.gif) #DDD;opacity:0.05;filter:progid:DXImageTransform.Microsoft.Alpha(Enabled=1,Style=0,Opacity=5);z-index:1;}

続きを閲覧するには、ブラウザの JavaScript の設定を有効にする必要があります。

Google、2400億の検証可能な統計データを接続させたオープンLLM「DataGemma」を発表
Googleは、大規模言語モデル（LLM）のハルシネーションの課題に対処するために、現実世界の統計データに接続するよう設計されたオープンLLM「DataGemma」を発表した。
中国の零一万物（01.AI）、コーディング用LLM「Yi-Coder」をオープンソースとして公開
中国のAIスタートアップ零一万物（01.AI）は、コーディング用大規模言語モデル（LLM）「Yi-Coder」をオープンソースとして公開した。
IBM、メインフレームでLLM／生成AIワークロードを加速するプロセッサ「Telum II」、アクセラレータ「Spyre」などを発表
IBMは、メインフレームシステム「IBM Z」の次世代製品などに搭載される「IBM Telum II」プロセッサ、同プロセッサ上のI/Oアクセラレーションユニット、同プロセッサを補完する「IBM Spyre」アクセラレータのアーキテクチャの詳細を発表した。