ニュース
Microsoft Research、小規模言語モデル(SLM)の「Phi-2」を発表 MITライセンスで商用利用も可能:最大25倍のモデルに匹敵または上回る性能
Microsoft Researchは、小規模言語モデル(SLM)の「Phi-2」を発表した。27億パラメーターを持つ言語モデルだが、最大25倍の大規模言語モデルに匹敵する性能を持つとしている。
Microsoft Researchの機械学習基盤チームは2023年12月12日(米国時間)、小規模言語モデル(SLM)の「Phi-2」を発表した。
Microsoft Researchは過去数カ月の間、SLMの研究開発を進めてきた。これまで、Pythonコーディングに特化した13億パラメーターを持つ「Phi-1」や、推論能力と言語理解に焦点を当てた「Phi-1.5」をリリースしてきた。Phi-2は27億パラメーターのSLMであり、さまざまなベンチマークにおいて、最大25倍の大規模言語モデル(LLM)に匹敵する性能を持つという。
Phi-2の特徴
Microsoft Researchは、数百億のパラメーターを持つ言語モデルと同等の性能を小規模なモデルで達成することを目的に、Phiの研究開発を進めてきた。Phi-2の特徴として次の2つを挙げている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
- Googleが次世代AIモデルで「Geminiの時代へようこそ」、搭載Bardは日本でも使える
Googleが新AIモデルのGeminiをリリースした。人の専門家を超える能力を備えると同社が主張するGeminiは、日本でもBardで使えるようになっている。実力はどうなのか。 - 大規模言語モデル(LLM:Large Language Model)とは?
用語「大規模言語モデル」について説明。大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことを指す。 - Zero-shot Learning(ゼロショット学習)とは?
用語「ゼロショット学習」について説明。訓練データに存在しない新しいクラスやタスクに対しても有用な予測/分類を行うための学習方法のことで、特にChatGPTの言語モデルなどでは、ファインチューニングすることなく、かつ例文もない状態で、さまざまなタスクを解決する能力を持つことを指す。