Stability AIがコーディング用のAI「StableCode」をリリース 業務支援や学習ツールとして利用可能：3つのモデルを用意

Stability AIは新しくコーディング用LLM生成AIであるStableCodeをリリースした。ベースモデル、インストラクションモデル、ロングコンテキストウィンドウモデルの3モデルでコーディングを支援する。

[＠IT]

　Stability AIは、2023年8月8日（米国時間）、同社初のコーディング用LLM生成AIである「StableCode」のリリースを発表した。この製品は、プログラマーの日常業務を支援するとともに、次のレベルに向けてスキル向上を目指す新人開発者向けの学習ツールとして開発された。

StableCodeの3モデル

　StableCodeは、3つの異なるモデルを使用してコーディングを支援する。いずれも開発者の効率性を高めるためのものだ。

ベースモデル（StableCode-Completion-Alpha-3B-4K）

　ベースモデル（StableCode-Completion-Alpha-3B-4K）は、最初にBigCodeのスタックデータセット（v1.2）から多様なプログラミング言語のデータを使用して訓練された。その後Python、Go、Java、JavaScript、C、markdown、C++などの人気の言語でさらに訓練した。

インストラクションモデル（StableCode-Instruct-Alpha-3B）

　ベースモデルが確立された後、複雑なプログラミングタスクの解決を支援するために、インストラクションモデル（StableCode-Instruct-Alpha-3B）を特定のユースケース向けにチューニングした。インストラクションモデルを調整するために、ベースモデルをAlpacaフォーマットのコード命令と応答を合わせた約12万個のデータペアで訓練した。

StableCode Instructを使用して、指定されたインストラクションに対するレスポンスを生成するコード（提供：Stability AI）

ロングコンテキストウィンドウモデル（StableCode-Completion-Alpha-3B）

　ロングコンテキストウィンドウモデル（StableCode-Completion-Alpha-3B）は、より長いコンテキストウィンドウ（文脈ウィンドウ）を持つモデルだ。これによりユーザーは、より大きなコード断片を入力または編集する際に、適切な補完やサポートを受けることができる。このモデルは、5つの平均的なPythonファイルに相当する量のコード（1万6000トークンのコンテキストウィンドウを持つ以前にリリースされたオープンモデルの2〜4倍）を同時に処理することができ、Stability AIは「初心者がより複雑な課題に取り組むための理想的な学習ツール」だとしている。

Pytorchのディープラーニングライブラリを利用した比較的複雑なPythonファイルを完成させるStableCode（グレーのテキストはStableCodeの予測を示す）（提供：Stability AI）

　StableCodeの3つのモデルを、パラメータ数やトークン数で比較したのが下表だ。いずれも標準的なHumanEvalベンチマークを使用している。

StableCodeのベンチマークスコア（提供：Stability AI）

　下記のグラフはStableCode-Completion-Alphaと「replit-coder」（Replitというプラットフォームにおいてコーディングを支援するモデル）、「starcorderbase」（別のコーディングの補完やサポートを提供するモデル）の3つを比較したものだ。「pass@1」と「pass@10」の2つの軸で比較されており、StableCode-Completion-Alphaが特にpassそれぞれのモデルが提案するコードの正解率（適切なコードが提案に含まれる割合）を示している。

HumanEvalベンチマーク同規模モデルとの比較（3B）（提供：Stability AI）

　「StableCodeはこの目標に向けた重要な一歩だ。さまざまな背景を持つ人々が、AIを使って日常的な課題を解決し、生活を向上させるためのコードを作成できるようになる日の到来は近いだろう。StableCodeは、次世代を担う10億人のソフトウェア開発者のコード学習の手助けになる」（Stability AI）