ggml.ai、GPUなしでチャットAIを動作させるライブラリ「GGML」開発中 Raspberry Pi上で音声認識モデルを実行可能開発プロセスはオープンで、誰でも参加できる

ggml.aiは、GPUなしでチャットAIを動作させる機械学習用のtensorライブラリ「GGML」を開発していると発表した。

» 2023年06月26日 08時00分 公開
[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 ggml.aiは2023年6月現在、GPUなしでチャットAIを動作させる機械学習用のtensorライブラリ「GGML」を開発中と発表した。

 GGMLの特徴は以下の通り。

  • Cで書かれている
  • 16ビット浮動小数点をサポート
  • 整数量子化をサポート(例:4bit、5bit、8bit)
  • 自動微分
  • 組み込みの最適化アルゴリズム「ADAM」「L-BFGS」などを搭載
  • Appleシリコン用に最適化
  • x86アーキテクチャではAVX/AVX2組み込み関数を利用
  • WebAssemblyおよびWASM SIMDによるWebサポート
  • サードパーティへの依存関係なし
  • 実行時にメモリ割り当てなし
  • ガイド付き言語出力のサポート

Copyright © ITmedia, Inc. All Rights Reserved.

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。