コーディング用LLM「Code Llama」70Bの高性能版が登場：研究および商用利用が無料

コードと自然言語のプロンプトからコードとコード関連の自然言語を生成する「Code Llama」の高性能バージョン「Code Llama 70B」がリリースされた。高いパフォーマンスを示しており、ベンチマークテストでも他のLLMをしのぐという。

[＠IT]

　Metaは2024年1月29日（米国時間）、テキストプロンプトを使用してコードを生成する大規模言語モデル（LLM）、「Code Llama」の高性能バージョン、「Code Llama 70B」をリリースした。Code Llamaは2023年8月24日（米国時間）に同社が発表した、プログラミングなどで利用可能な最新技術の言語モデルだ。開発者は迅速かつ効率的に作業を進めることができ、プログラミング学習者にとっても参入のハードルを下げ、プログラミングをより効果的に学ぶための教育ツールとしても利用できる。

　今回追加されたCode Llama 70Bは、Code Llamaファミリーの中で最大かつ最高のパフォーマンスを発揮するという。Code Llama 70Bの詳細は次の通り。

Code Llama 70Bの詳細

• Code Llama 70BはCode Llamaモデル（後述）と同じ3つのバージョンで提供され、研究および商用利用が無料
• Code Llama 70B：基盤となるコードモデル
• Code Llama 70B Python：「Python」に特化した70Bモデル
• Code Llama 70B Instruct 70B：自然言語命令を理解するためにファインチューニングされたモデル

　2023年8月に公開されたCode Llamaの詳細は次の通り。

Code Llamaの詳細

• Code Llamaはコードと自然言語のプロンプトの両方から、コードとコードに関する自然言語を生成できるLLM
• 研究および商用利用は無料
• Code LlamaはLlama 2の上に構築されており、3つのモデルがある
• Code Llama：基礎となるコードモデル
• Code Llama Python : Pythonに特化したCode Llama
• Code Llama Instruct :自然言語の命令を理解するために微調整されている
• ベンチマークテストでは、Code Llamaはコードタスクにおいて最先端の一般公開LLMをしのぐ

Code Llamaの機能

　Code Llamaは、Llama 2をコードデータセットで訓練し、コーディング能力を強化して作成された。Code Llamaは、コードと自然言語のプロンプトの両方に基づいて、コードとコードに関する自然言語を生成することができる。Python、「C++」「Java」「PHP」「Typescript」「JavaScript」「C#」「Bash」などの一般的なプログラミング言語をサポートしている。

　Code Llamaには、今回追加された70Bを含め、さまざまなパラメーター（7B、13B、34B、70B）を持つ4つのサイズがある。これらのモデルは、さまざまな量のコード関連データで学習され、それぞれ異なるサービング要件とレイテンシ要件に対応している。7Bと13Bのモデルは、既存のコードに新しいコードを挿入できるfill-in-the-middle（FIM）機能を備えており、コードの途中に新しいコードを挿入して、コードの補完などのタスクを直ちにサポートできる。34Bと70Bの大型モデルは、より優れたコーディング支援を提供するが、小型モデルはより高速で、リアルタイムのコード補完のような低レイテンシのタスクに適している。

Code Llamaのパフォーマンス評価

　Code Llamaのパフォーマンスをテストするために、「HumanEval」「Mostly Basic Python Programming」（MBPP）という2つの一般的なコーディングベンチマークを使用し、既存のLLMと比較した。HumanEvalは、docstringに基づいてコードを完成させるモデルの能力をテストし、MBPPは、記述に基づいてコードを記述するモデルの能力をテストする。

　Code Llamaはオープンソースの主要なコーディング用LLMよりも優れた性能を発揮し、Llama 2を上回った。例えば、Code Llama 34Bは、HumanEvalで53.7%、MBPPで56.2%と、他の最先端のオープンなソリューションと比較して最も高く、ChatGPTと同等だったという。

（提供：Meta）