Stability AI、「LLaMA」ベースのオープンLLM「FreeWilly」を発表：一部のタスクでは「GPT-3.5」をしのぐパフォーマンスを発揮

Stability AIと同社のCarperAIラボは、オープンにアクセスできる新しい大規模言語モデル（LLM）「FreeWilly1」とその後継の「FreeWilly2」を発表した。

[＠IT]

　画像生成AI「Stable Diffusion」を開発するStability AIと同社のCarperAIラボは2023年7月21日（米国時間）、オープンにアクセスできる新しい大規模言語モデル（LLM）「FreeWilly1」とその後継の「FreeWilly2」を発表した。両モデルとも、さまざまなベンチマークで優れた推論能力を発揮したとしている。

　FreeWilly1は、基盤モデル「LLaMA 65B」を利用したもので、教師ありファインチューニング（Supervised Fine Tuning：SFT）で合成的に生成された標準的なAlpaca形式の新しいデータセットでファインチューニングされた。

　同様に、FreeWilly2は基盤モデル「LLaMA 2 70B」を利用したもので、一部のタスクではOpenAIのLLM「GPT-3.5」をしのぐパフォーマンスに達している。

　どちらのモデルも研究実験を目的としており、非商用ライセンスの下でオープンな研究を促進するために公開されている。

　Stability AIによると、FreeWillyモデルのトレーニング方法は、Microsoftが論文「Orca: Progressive Learning from Complex Explanation Traces of GPT-4」で開拓した方法論に直接触発されている。ただし、Stability AIのデータ生成プロセスは似ているが、データソースは異なっているという。