Microsoft、小規模言語モデル「Phi-3」公開 大規模言語モデルと異なる利用シーンを想定:「小」規模言語モデルの持つ可能性
Microsoftは、自社開発の小規模言語モデル(SLM)ファミリー、「Phi-3」を発表した。シリーズ最小のパラメーター数の「Phi-3-mini」を公開し、Microsoft Azure AI Studio、Hugging Face、Ollamaで利用可能になった。
Microsoftは4月23日(米国時間)、自社開発の小規模言語モデル(SLM)ファミリー、「Phi-3」を発表した。また、同日からPhi-3シリーズ最小となる38億個のパラメーターを持つ「Phi-3-mini」が「Microsoft Azure AI Studio」「Hugging Face」「Ollama」で利用可能になった。
Phi-3-miniの特徴
Phi-3-miniは4Kおよび128Kトークンの2種類のコンテキスト長で利用でき、128Kトークンまでのコンテキストウィンドウをサポートするモデルだ。このモデルはインストラクションチューニングされており、人々の通常のコミュニケーション方法を反映した、さまざまなタイプの指示に従うように訓練されている。
Azure AI上でPhi-3-miniを使用することで、モデルのdeploy-eval-finetuneツールチェーン(モデルのデプロイ、評価、ファインチューニング)ができるようになる。また、Ollamaでも利用可能で、開発者のラップトップでローカルでも実行できる。
Phi-3-miniは、ONNX(Open Neural Network Exchange)ランタイムと「Windows DirectML」を通じ、GPU、CPU、モバイルハードウェアにクロスプラットフォームで対応している。また、どこにでも展開できる標準APIインタフェースを備えたNVIDIA NIMマイクロサービスとしても利用できる。NVIDIA GPU向けの最適化も施されている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
- Microsoft Research、小規模言語モデル(SLM)の「Phi-2」を発表 MITライセンスで商用利用も可能
Microsoft Researchは、小規模言語モデル(SLM)の「Phi-2」を発表した。27億パラメーターを持つ言語モデルだが、最大25倍の大規模言語モデルに匹敵する性能を持つとしている。 - Meta、次世代オープンLLM「Meta Llama 3」を発表
Metaは、大規模言語モデル「Meta Llama 3」の8Bおよび70Bパラメーターモデルを発表した。 - Red Hatが誰でもLLM開発に貢献できるオープンソースプロジェクト、「InstructLab」を発表
Red HatがオープンソースLLMをさらにオープンソース化するプロジェクト、「InstructLab」を開始した。誰でもLLM開発に参加することができ、「生成AIの未来をともに形作れる」と訴えている。まずIBM Researchの「Granite」モデルなどから始める。