使う生成AIから創る生成AIヘ ローカルPCやオンプレミスで生成AI環境を構築してみよう：クラウドサービスだけじゃない！ ローカルPCやサーバ、Kubernetesで生成AI（1）

2022年以降、生成AIはブームを超えた存在になりつつあるといっても過言ではありません。気軽に試せるラップトップ環境で、チャットbotを提供するオールインワンの生成AI環境構築から始め、Kubernetesを活用した本格的なGPUクラスタの構築やモデルのファインチューニングまで解説する本連載。初回は、ローカル環境でカンタンに生成AIモデルを実行する方法や、生成AIを学んでいく上で押さえておきたいアーキテクチャを丁寧に解説します。

[正野勇嗣, 岡本隆史, 野山瑛哲, 露崎浩太，NTTデータグループ／NTTコミュニケーションズ]

※正野、岡本はNTTデータ所属、野山、露崎はNTTコミュニケーションズ所属

　2022年11月、「ChatGPT」の登場により、生成AI（人工知能）は空前のブームを迎えています。いえ、それどころか、今やブームを超えた存在になりつつあるといっても過言ではありません。

　ChatGPTに続き、「Gemini」「Claude」「DeepSeek」のようなサービスも登場し、「DALL-E」「Midjourney」のような画像生成サービス、「Sora」のような動画生成サービスまでも登場しています。「LLaMa」「Stable Diffusion」などPC上で自由に使える生成AIモデル／LLM（Large Language Model：大規模言語モデル）やその派生モデルも注目を集めています。日本語に強い生成AIモデルとしては「Swallow」が登場しています。

　こうした変化に伴い、技術はかつてないほどの進化を遂げています。音声モードを活用した英会話学習や、AI検索を使用した情報収集の効率化、イラスト作成の効率化など、その応用は枚挙にいとまがありません。

　こうした生成AIの盛り上がりに伴い、ChatGPTなどの既存サービスを利用するだけでなく、「ラップトップや自社クラスタ環境で生成AIを動作させたい」というニーズも高まっています。これには、以下のようなメリットがあります。

• 柔軟なカスタマイズが可能
• 秘匿性の高いデータを扱える
• API利用料が不要（ただしハードウェア費用や電気代は必要）
• 生成AIの動作原理をより深く理解できる

　一方で、生成AI関連の技術も分野ごとに目まぐるしく登場、進化しているため、「何を使えばいいのか」と迷う場面も出てくるでしょう（詳しくは後述）。

• 機械学習（ML）ライブラリ（「scikit-learn」「PyTorch」「TensorFlow」「ONNX Runtime」「MLX」など）
• 生成AIアプリ開発フレームワーク（「LangChain」「LlamaIndex」「Dify」「AutoGen」など）
• 推論フレームワーク（「llama.cpp」「Ollama」「vllm」「Automatic1111」など）
• ハードウェアアクセラレーションライブラリ（「CUDA」「cuDNN」「ROCm」「Vulkan」「Direct ML」など）
• コンテナオーケストレーション（「Kubernetes」など）

　さらに、Web上にある手順を参考にしても、環境の違いによってうまく動作しなかったり、情報がすでに古くなってしまったりすることも多々あります。

　そこで本連載では、最近のトレンドを踏まえながら、筆者陣（NTTデータグループの正野勇嗣と岡本隆史、NTTコミュニケーションズの野山瑛哲と露崎浩太）がオススメの生成AIツールを使った環境構築方法を解説していきます。

　まずは気軽に試せるラップトップ環境で、チャットbotを提供するオールインワンの生成AI環境構築から始め、徐々にKubernetesを活用した本格的なGPU（Graphics Processing Unit）クラスタの構築やモデルのファインチューニングまでを扱う予定です。本連載が、読者の皆さんの生成AI活用に向けたステップアップとなることを願っています。

　なお、本連載では、生成AIのモデルを生成AIモデル（または省略してモデル）と呼びますが、一般的にはLLMとも呼ばれています。最近は、小規模なモデルをSLM（Small Language Model：小規模言語モデル）と呼ぶこともあります。本稿では、SLMを主に利用しますが、生成AIモデルもしくはモデルと呼ぶこととします。

目次

• まずはMacでカンタンに生成AIを動かしてみよう（Ollama）
  • Ollamaのインストール
  • モデルの実行
• レイヤー別に押さえる、生成AIのアーキテクチャ
  • ソフトウェアレイヤー
  • オーケストレーションレイヤー
  • ハードウェアレイヤー
• コラム：生成AIはPC（AI PC）で動かす時代に？
• ライフサイクル視点で押さえる、生成AIの導入と運用
• まとめ

まずはMacでカンタンに生成AIを動かしてみよう（Ollama）