ggml.ai、GPUなしでチャットAIを動作させるライブラリ「GGML」開発中 Raspberry Pi上で音声認識モデルを実行可能:開発プロセスはオープンで、誰でも参加できる
ggml.aiは、GPUなしでチャットAIを動作させる機械学習用のtensorライブラリ「GGML」を開発していると発表した。
この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。
ggml.aiは2023年6月現在、GPUなしでチャットAIを動作させる機械学習用のtensorライブラリ「GGML」を開発中と発表した。
GGMLの特徴は以下の通り。
- Cで書かれている
- 16ビット浮動小数点をサポート
- 整数量子化をサポート(例:4bit、5bit、8bit)
- 自動微分
- 組み込みの最適化アルゴリズム「ADAM」「L-BFGS」などを搭載
- Appleシリコン用に最適化
- x86アーキテクチャではAVX/AVX2組み込み関数を利用
- WebAssemblyおよびWASM SIMDによるWebサポート
- サードパーティへの依存関係なし
- 実行時にメモリ割り当てなし
- ガイド付き言語出力のサポート
Copyright © ITmedia, Inc. All Rights Reserved.