Stability AI、オフラインで使用できるコーディング生成AI「Stable Code 3B」を発表：「Stable Code」の最初のメジャーリリース

Stability AIは、コーディング用生成AI「Stable Code」の最初のメジャーリリースとなる「Stable Code 3B」を発表した。

[＠IT]

　Stability AIは2024年1月16日（米国時間）、コーディング用生成AI（人工知能）「Stable Code」の最初のメジャーリリースとなる「Stable Code 3B」を発表した。2023年8月にリリースした「Stable Code Alpha 3B」に続くものだ。

　Stable Code 3Bは、「CodeLLaMA 7b」と比べてサイズが60％小さい大規模言語モデル（LLM）であり、さまざまなプログラミング言語にわたって同様の高レベルなパフォーマンスを発揮する。4兆トークンの自然言語データでトレーニングされたStability AIの基盤モデル「Stable LM 3B」をベースに、ソフトウェアエンジニアリング固有のデータ（コードなど）でさらにトレーニングされたものだ。

　Stability AIによると、コンパクトなサイズであるため、専用GPUを搭載しない一般的なノートPCを使用して、プライベートなエッジ環境でリアルタイム実行できるという。

　Stable Code 3Bは、多くの言語にわたって豊富な機能と優れたパフォーマンスを提供し、FIM（Fill in the Middle）機能のサポートやコンテキストサイズの拡張といった利点も備える。最大1万6384トークンのシーケンスでトレーニングされており、CodeLlamaと同様に、長文タスクでパフォーマンスを発揮する「Rotary Embeddings」が実装されている。オプションでRotary Baseを最大1000000まで変更できるという。

　Stable Codeは、18のプログラミング言語（2023年の「StackOverflow Developer Survey」に基づいて選択された）でトレーニングされており、テストに使用された多くのプログラミング言語のタスクでも、MultiPL-Eメトリクスで（同規模のモデルと比較して）最先端のパフォーマンスを示している。

　Stability AIは以下のグラフと表で、他のモデルとのパフォーマンス比較結果を紹介している。

Stable Code 3Bのベンチマーク結果（提供：Stability AI）

　なお、Stable Code 3Bを商用利用するには、Stability AIメンバーシップに登録する必要がある。