NEC、生成AI「cotomi」のラインアップを拡充　高速LLM「cotomi Pro」「cotomi Light」を発表：総合的なタスクに対する高い処理能力と応答速度の速さが特徴

NECは、同社の生成AI「cotomi」において新たな2つのモデル「cotomi Pro」「cotomi Light」を発表した。

» 2024年04月30日 08時00分公開

[＠IT]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　NECは2024年4月24日、同社の生成AI（人工知能）「cotomi」において、学習データやアーキテクチャを刷新した新たな2つのLLM（大規模言語モデル）「cotomi Pro」「cotomi Light」を発表した。

　cotomi Proとcotomi Lightについて、NECは「グローバルのLLMと同等の高い性能を、十数倍の速度で実現する高速、高性能なモデルだ」と述べている。

　NECは、cotomi Proとcotomi Lightの特徴を次のように説明している。

cotomi Proとcotomi Lightの特徴

総合的なタスクに対する高い処理能力

　文書要約、論理推論、質問応答などさまざまなタスクを処理する能力、知識量を測定するベンチマーク「ELYZA Tasks 100」や「Japanese MT-Bench」を利用した評価で、cotomi Proとcotomi Lightは、グローバルのLLMと同等水準の性能を有している。

ELYZA Tasks 100（人手評価）での評価比較（提供：NEC）

ELYZA Tasks 100（GPT-4評価）での評価比較（提供：NEC）

Japanese MT-Benchでの評価比較（提供：NEC）

アーキテクチャなどの実装の工夫により、応答速度を高速化

　LLMにおいては高い推論性能だけでなく、リクエストを送信してから処理が完了し応答が返るまでの時間（速度）も重要だ。

　cotomi Proとcotomi Lightは、推論性能と速度を両立するアーキテクチャ上の工夫と、モデル内に大規模な日本語の辞書（トークナイザ）を保有することで、クラウド環境でのGPT-4使用時と比較して推論時間が8分の1～15分の1に短縮したという。これらの工夫は推論速度だけでなく、同時アクセス数の拡大や、ファインチューニングに必要な学習時間の短縮にもつながっている。

20ページあるPDF（1万4000字）の要約タスクにおけるGPT-4とcotomi Lightの応答速度の比較（提供：NEC）

Meta、次世代オープンLLM「Meta Llama 3」を発表
Metaは、大規模言語モデル「Meta Llama 3」の8Bおよび70Bパラメーターモデルを発表した。
Cohere、強力でスケーラブルなRAG最適化LLM「Command R+」を発表
Cohereは、同社のプロダクトの中で「最も強力でスケーラブル」とする大規模言語モデル「Command R+」を発表した。
LLM、AIツールの活用がAPIの需要増加要因に　Gartner予測
Gartnerによると、2026年までにAPIの需要増加の30％以上は、大規模言語モデル（LLM）を使用するAIやツールからの需要が寄与するようになる見通しだ。