オンデバイスでLLMを実行できる「MediaPipe LLM Inference API」、Googleがリリース：数ステップでLLMをデバイスに導入可能

Googleは「MediaPipe」を通じてオンデバイスでLLMを実行できるLLMを実行できる「MediaPipe LLM Inference API」の実験的リリースを発表した。MediaPipe LLM Inference APIでは、LLMを使ったアプリケーションをスマートフォンなどのデバイス上で使用することができる。

[＠IT]

　Googleは2024年3月7日（米国時間）、同社が開発する機械学習ライブラリ「MediaPipe」を通じてオンデバイスでLLMを実行できる「MediaPipe LLM Inference API」の実験的リリースを発表した。

　MediaPipe LLM Inference APIはWeb開発者がオンデバイスでLLMを実行できるように設計されており、Web、Android、iOSをサポートする。LLMではまず、オープンな「Gemma」「Phi2」「Falcon LLM」「Stable LM」をサポートしている。これにより、研究者や開発者は、一般に公開されているLLMモデルのプロトタイプを作成し、デバイス上でテストできる。