オープンソースのLLMをローカルで実行できる「Ollama」Windowsプレビュー版、公開：ビジョンモデルの実行にも対応

Ollama Projectは、オープンソースの大規模言語モデルをローカル環境で実行できる「Ollama」のWindowsプレビュー版を公開した。

[＠IT]

　Ollama Projectは2024年2月15日（米国時間）、オープンソースの大規模言語モデル（LLM）をローカル環境で実行できる「Ollama」のWindowsプレビュー版を公開した。

　Ollamaは、「Llama 2」「Mistral」「Gemma」などの大規模言語モデルのダウンロード、実行、作成、カスタマイズができるオープンソースのツールだ。

Ollamaの特徴

ハードウェアアクセラレーション

　Ollamaは、NVIDIA GPUやIntel AVX（Intel Advanced Vector Extensions）/AVX2などのCPU命令セットを使用してモデルの実行を高速化するハードウェアアクセラレーションに対応している。同機能は既にOllamaに組み込まれており、追加の設定や仮想化は不要だ。

OllamaでLlama 2を実行するデモ（提供：Ollama Project）

モデルライブラリへのフルアクセス

　Ollamaモデルライブラリを通じて、Windowsで実行可能なLLMにアクセスできる。モデルライブラリには、「LLaVA-1.6」（Large Language-and-Vision Assistant）のような、画像とテキストを扱うモデルも含まれている。LLaVA-1.6を試したい場合は、ollama runコマンドを実行後、画像をドラッグ＆ドロップして実行結果を確認できる。

LLaVA-1.6の実行デモ（提供：Ollama Project）

Ollama API

　Ollamaを実行すると、Ollama APIを利用できるようになる。OllamaのAPIは「http://localhost:11434」で自動的に実行される。ツールやアプリケーションは、追加設定なしに接続、実行できる。

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

PowerShellからOllama APIを実行する例