大規模なインフラを自由に使えないAI研究者向けに、Metaが「小規模で高性能な言語モデル」を公開：「重要で変化の激しい分野でのアクセスをさらに民主化する」

Metaは、同社開発した言語モデル「LLaMA」（Large Language Model Meta AI）を研究者向けに公開した。「人間の文章生成に似た方法で文章を生成できる」という。

[＠IT]

　Metaは2023年2月24日、自然言語モデル「LLaMA」（Large Language Model Meta AI）を公開した。AI（人工知能）の研究者による利用を想定しており、同社は「重要で変化の激しい分野でのアクセスをさらに民主化する」と述べている。

プレスリリース

小さいけど性能なら負けない

　「ChatGPT」など大規模な自然言語モデルを活用したサービスが注目されているが、Metaによると「そういった大規模なモデルをトレーニングし、実行するためにはインフラと膨大なリソースが必要で、利用に制限がある場合が多い」という。

　LLaMAは小規模で利用でき、性能面にも優れているので「大規模インフラにアクセスできないAI研究者に適している」とMetaは述べている。

　GPT-3をはじめとする他の大規模言語モデルと同様に、LLaMAは一連の単語を入力として受け取り、次の単語を予測してテキストを再帰的に生成する。Metaによると「人間の言語に近い構造を持ち、人間の文章生成に似た方法で文章を生成できる」という。

　このモデルを訓練するため、ラテン語とキリル文字などアルファベットを持つ言語を中心に、最も話者の多い20の言語からテキストを選んでいる。Metaによると「GPT-3より少ないパラメーター数で同等の性能を出せる」という。なお、GPT-3のパラメーター数は「175B（1750億）」、LLaMAは最大で「65B（650億）」となっている。

　なお、2023年3月現在は一般利用ができず、非商用の研究でのみ利用可能だ。Metaは利用申請を受け付けており、「政府、市民社会、学界の組織に所属する人々と世界中の産業研究所など関心のある方は申請してほしい」としている。