NEC、生成AI「cotomi」のラインアップを拡充 高速LLM「cotomi Pro」「cotomi Light」を発表：総合的なタスクに対する高い処理能力と応答速度の速さが特徴

NECは、同社の生成AI「cotomi」において新たな2つのモデル「cotomi Pro」「cotomi Light」を発表した。

[＠IT]

　NECは2024年4月24日、同社の生成AI（人工知能）「cotomi」において、学習データやアーキテクチャを刷新した新たな2つのLLM（大規模言語モデル）「cotomi Pro」「cotomi Light」を発表した。

　cotomi Proとcotomi Lightについて、NECは「グローバルのLLMと同等の高い性能を、十数倍の速度で実現する高速、高性能なモデルだ」と述べている。

　NECは、cotomi Proとcotomi Lightの特徴を次のように説明している。

cotomi Proとcotomi Lightの特徴

総合的なタスクに対する高い処理能力

　文書要約、論理推論、質問応答などさまざまなタスクを処理する能力、知識量を測定するベンチマーク「ELYZA Tasks 100」や「Japanese MT-Bench」を利用した評価で、cotomi Proとcotomi Lightは、グローバルのLLMと同等水準の性能を有している。

ELYZA Tasks 100（人手評価）での評価比較（提供：NEC）

ELYZA Tasks 100（GPT-4評価）での評価比較（提供：NEC）

Japanese MT-Benchでの評価比較（提供：NEC）

アーキテクチャなどの実装の工夫により、応答速度を高速化

　LLMにおいては高い推論性能だけでなく、リクエストを送信してから処理が完了し応答が返るまでの時間（速度）も重要だ。

　cotomi Proとcotomi Lightは、推論性能と速度を両立するアーキテクチャ上の工夫と、モデル内に大規模な日本語の辞書（トークナイザ）を保有することで、クラウド環境でのGPT-4使用時と比較して推論時間が8分の1〜15分の1に短縮したという。これらの工夫は推論速度だけでなく、同時アクセス数の拡大や、ファインチューニングに必要な学習時間の短縮にもつながっている。

20ページあるPDF（1万4000字）の要約タスクにおけるGPT-4とcotomi Lightの応答速度の比較（提供：NEC）