ggml.ai、GPUなしでチャットAIを動作させるライブラリ「GGML」開発中 Raspberry Pi上で音声認識モデルを実行可能：開発プロセスはオープンで、誰でも参加できる

ggml.aiは、GPUなしでチャットAIを動作させる機械学習用のtensorライブラリ「GGML」を開発していると発表した。

[＠IT]

　ggml.aiは2023年6月現在、GPUなしでチャットAIを動作させる機械学習用のtensorライブラリ「GGML」を開発中と発表した。

　GGMLの特徴は以下の通り。

• Cで書かれている
• 16ビット浮動小数点をサポート
• 整数量子化をサポート（例：4bit、5bit、8bit）
• 自動微分
• 組み込みの最適化アルゴリズム「ADAM」「L-BFGS」などを搭載
• Appleシリコン用に最適化
• x86アーキテクチャではAVX/AVX2組み込み関数を利用
• WebAssemblyおよびWASM SIMDによるWebサポート
• サードパーティへの依存関係なし
• 実行時にメモリ割り当てなし
• ガイド付き言語出力のサポート

　ggml.aiは、ggmlを使用してRaspberry Pi 4で音声認識モデル「Whisper」で、短い音声コマンドを検出するデモを公開しており、CPU上でWhisperを効率的に実行できるとしている。

GGMLの開発方針

最小限のシンプルさ

　GGMLの開発について、ggml.aiはコードベースをできるだけ小さくシンプルに保つことを目指している。

オープンコア

　GGMLのライブラリと関連プロジェクトは、MITライセンスに基づいて無料で利用可能だ。開発プロセスはオープンで、誰でも参加することができる。将来的には、商用利用が許可された拡張機能を開発すること可能性があるという。