Stability AI、「LLaMA」ベースのオープンLLM「FreeWilly」を発表：一部のタスクでは「GPT-3.5」をしのぐパフォーマンスを発揮
Stability AIと同社のCarperAIラボは、オープンにアクセスできる新しい大規模言語モデル（LLM）「FreeWilly1」とその後継の「FreeWilly2」を発表した。
この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。
画像生成AI「Stable Diffusion」を開発するStability AIと同社のCarperAIラボは2023年7月21日（米国時間）、オープンにアクセスできる新しい大規模言語モデル（LLM）「FreeWilly1」とその後継の「FreeWilly2」を発表した。両モデルとも、さまざまなベンチマークで優れた推論能力を発揮したとしている。
FreeWilly1は、基盤モデル「LLaMA 65B」を利用したもので、教師ありファインチューニング（Supervised Fine Tuning：SFT）で合成的に生成された標準的なAlpaca形式の新しいデータセットでファインチューニングされた。
同様に、FreeWilly2は基盤モデル「LLaMA 2 70B」を利用したもので、一部のタスクではOpenAIのLLM「GPT-3.5」をしのぐパフォーマンスに達している。
どちらのモデルも研究実験を目的としており、非商用ライセンスの下でオープンな研究を促進するために公開されている。
Stability AIによると、FreeWillyモデルのトレーニング方法は、Microsoftが論文「Orca: Progressive Learning from Complex Explanation Traces of GPT-4」で開拓した方法論に直接触発されている。ただし、Stability AIのデータ生成プロセスは似ているが、データソースは異なっているという。
関連記事
「Stable Diffusion」で話題のStability AIが、テキスト生成言語モデルを公開
Stability AIは、テキストやコードを生成できる、オープンソースの言語モデル「StableLM」を公開した。「CC BY-SA-4.0」ライセンスに基づき、研究だけでなく、商用目的でも利用できる。
CarperAI、初の“指示チューニング”型オープンソース大規模言語モデルの開発計画を発表
オープンソースAI研究者チーム「CarperAI」は、大規模言語モデル（LLM）のトレーニングのエキスパートであるEleutherAIとMultiおよびラベリングとヒューマンアノテーションのエキスパートであるScale、Humanloop、Hugging Faceと共同で、人間の指示に従うように明示的にトレーニングされたLLMの公開に取り組むと発表した。
「Metaが公開した『LLaMa 2』はオープンソースではない」――OSIが声明
オープンソース推進団体のOpen Source Initiative（OSI）は、「Metaが公開した『LLaMa 2』のライセンスはオープンソースではない」との声明を発表した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
注目のテーマ
ITmediaはアイティメディア株式会社の登録商標です。