Microsoft Researchは、小規模言語モデル(SLM)の「Phi-2」を発表した。27億パラメーターを持つ言語モデルだが、最大25倍の大規模言語モデルに匹敵する性能を持つとしている。
この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。
Microsoft Researchの機械学習基盤チームは2023年12月12日(米国時間)、小規模言語モデル(SLM)の「Phi-2」を発表した。
Microsoft Researchは過去数カ月の間、SLMの研究開発を進めてきた。これまで、Pythonコーディングに特化した13億パラメーターを持つ「Phi-1」や、推論能力と言語理解に焦点を当てた「Phi-1.5」をリリースしてきた。Phi-2は27億パラメーターのSLMであり、さまざまなベンチマークにおいて、最大25倍の大規模言語モデル(LLM)に匹敵する性能を持つという。
Microsoft Researchは、数百億のパラメーターを持つ言語モデルと同等の性能を小規模なモデルで達成することを目的に、Phiの研究開発を進めてきた。Phi-2の特徴として次の2つを挙げている。
Copyright © ITmedia, Inc. All Rights Reserved.