中国の零一万物（01.AI）、コーディング用LLM「Yi-Coder」をオープンソースとして公開：「10B未満のパラメーターで最先端のコーディング性能」

中国のAIスタートアップ零一万物（01.AI）は、コーディング用大規模言語モデル（LLM）「Yi-Coder」をオープンソースとして公開した。

[＠IT]

　中国のAIスタートアップ（新興企業）である零一万物（01.AI）は2024年9月5日（中国時間）、コーディング用大規模言語モデル（LLM）「Yi-Coder」をオープンソースとして公開した。

　Yi-Coderは、15億（1.5B）パラメーターと90億（9B）パラメーターのモデルがあり、それぞれベース版とチャット版がある。いずれもコンテキストウィンドウは12万8000（128K）トークンとなっている。01.AIは、「100億（10B）未満のパラメーターで最先端のコーディングパフォーマンスを実現する」とうたっている。

（提供：01.AI）

　Yi-Coderは、効率的な推論と柔軟なトレーニングが可能になるように設計されており、特に「Yi-Coder-9B」は、01.AIのオープンソースLLMファミリー「Yi」の一つである「Yi-9B」をベースに、高品質の2.4兆（2.4T）トークンの追加データを用いたトレーニングによって構築されている。このデータは、GitHubのリポジトリレベルのコードコーパスと、CommonCrawlからフィルタリングされたコード関連データから厳密に調達されている。

　Yi-Coderの主な特徴は以下の通り。