「AI Gateway」の主要プロダクト／OSSをひとまとめ――AIエージェント導入・運用にAI Gatewayが欠かせなくなる理由：クラウドサービスだけじゃない！ ローカルPCやサーバ、Kubernetesで生成AI（9）
気軽に試せるラップトップ環境で、チャットbotを提供するオールインワンの生成AI環境構築から始め、Kubernetesを活用した本格的なGPUクラスタの構築やモデルのファインチューニングまで解説する本連載。今回は、AIエージェントシステム全体の「統制」と「接続」を担う基盤となる「AI Gateway」の役割と、その主要プロダクトやOSSを整理します。
この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。
AI（人工知能）エージェントが進化する中で、企業の生成AI活用を巡っては、複数のAIモデルの使い分け、MCP（Model Context Protocol）による外部ツールとの連携、エージェント間通信（A2A：Agent-to-Agent）といった要素が絡み合い、複雑なものとなりつつあります。
この複雑性の課題に対する中核技術として、「AI Gateway」が注目されています。
AI Gatewayは、AIアプリケーションと各種コンポーネントの間に立ち、通信を一元的に仲介・統制する基盤です。キャッシュによるコスト削減やレート制限による安定稼働、ログ監査によるガバナンス強化など、AIシステムに必須の機能を提供し、可観測性（オブザーバビリティ）、信頼性、拡張性を飛躍的に向上させます。
近年では、AI Gatewayは前述のような目的の基盤の位置付けに加えて、複数のモデルを管理したり、MCPやA2Aを通じて連携させたりといった、いわば「AI統合ハブ」としての役割を担い始めています。MCPなどを介して外部ツールや既存システムと連携し、AIエージェント同士が協調的に動作するための中核的な通信レイヤーとしても機能しつつあります。
AI Gatewayは、ガバナンスを維持しながらも、複雑化するAIエコシステム全体を安全かつ柔軟に接続するための基盤に進化しつつあります。そこで本稿では、これからAIエージェントの導入・活用を進める上で、欠かせないAI Gatewayが持つ機能や主要プロダクト、OSS（オープンソースソフトウェア）を概観し、AI Gatewayの最新動向を整理します。
目次
AI Gatewayの役割 なぜAIエージェントの導入、運用で必要なのか？
AI Gatewayという概念は、CloudflareのMichelle Chen氏とYo'av Moshe氏による2023年9月のブログ記事で提唱されました。
AI GatewayについてCloudflareは、AI/APIとアプリケーションの間に介在し、キャッシュ・レート制限・分析・複数モデル統合といった高度な機能を提供し、導入の容易さと可観測性・信頼性の強化を実現するゲートウェイだと説明しています。
企業がOpenAIやAnthropicなどが提供する複数のAIモデルを使い分け、複数のMCPサーバを用いて既存システムとの連携、A2Aによるマルチエージェントの導入を進めていくと、システムはますます複雑化します。エージェント同士が個別にやりとりを始めるようになると、全体の統制が難しくなり、ガバナンス上のリスクも生じます。
AI Gatewayを導入することで、AIに関する通信経路を一元化し、構成を簡潔に保ちながらガバナンスの効いたAIエージェント運用が可能になるというわけです。
AI Gatewayが提供する機能
AI Gatewayは、下図の3レイヤーの真ん中に位置し、生成AIのトラフィックと周辺連携を入り口で統制するための基盤です。
- LLM Gateway：複数のLLM（大規模言語モデル）を単一エンドポイントで統合（※LLM Proxyとも呼ばれる）
- Agent Gateway：ツールや他エージェントとの通信を仲介
- MCP Gateway：外部ツール接続を中継
- A2A Gateway：エージェント間通信を中継
簡単に説明すると、それぞれのゲートウェイは以下のような機能を持ちます。
- LLM Gateway＝モデル呼び出しの統制
- Agent Gateway＝モデル以外の通信
- MCP Gateway＝ツール実行の統制
- A2A Gateway＝エージェント間連携の統制
それぞれの機能を具体的に見ていきます。
LLM Gatewayの機能
LLM Gatewayは、以下のような機能を提供します。
| 機能名 | 概要 | 主な目的・効果 |
|---|---|---|
| キャッシュ | 同一リクエスト結果を保存・再利用 | 応答速度の向上、APIコスト削減 |
| レート制限 | 一定期間内のリクエスト制限 | 安定稼働、過負荷防止 |
| コスト分析 | モデルごとの利用量・トークン使用量を集計・可視化 | コスト最適化、課金監視 |
| ルーティング | 複数LLM間でのリクエスト分配制御（フェイルオーバー／コスト最適／セマンティックルーティング） | 可用性向上、性能／コスト最適化 |
| ログ監査 | 全リクエスト・レスポンスの記録 | トレーサビリティー（追跡可能性）、問題解析、セキュリティ対応 |
| ガードレール | 出力内容の検査・制御 | セキュリティ・倫理・法令順守 |
| DLP（Data Loss Prevention） | 機密情報の検出・マスキング | 情報漏えい防止 |
Agent Gatewayの機能
Agent Gateway（MCP Gateway/A2A Gateway）は、以下のような機能を提供します。
| 機能カテゴリー | 機能概要 | 補足・例・備考 |
|---|---|---|
| プロトコル変換（MCP to MCP） | SSE（Server Sent Events）、stdioなどの非セキュアな通信方式を利用するMCPをStreamable HTTPに変換 | セキュアで統一したアクセス方法を提供 |
| プロトコル変換（REST API to MCP） | OpenAPIなどで公開されるAPIをMCPに変換 | 既存システムからのAIエージェントへの接続性向上 |
| MCPサーバライフサイクル管理 | MCPサーバの有効化／無効化、起動／停止制御 | CLI（コマンドラインインタフェース）や設定によるサーバ構成切り替えをサポート |
| ルーティング／プロキシ | 複数のMCP/A2Aサーバへのリクエストルーティング | セッションアフィニティ（同一クライアントの通信を同じサーバに誘導）対応 |
| セッション管理 | 状態を持つ通信のハンドル | セッションごとのルート制御や状態維持をサポート |
| 設定・シークレット管理 | サーバ設定、APIキーや認証情報の取り扱い | 環境変数や設定ファイル、CLIでのシークレット設定対応 |
| セキュリティ検証 | 署名検証、ペイロードスキャンなど | イメージ署名検証、シークレット流出の防止（Block-secrets）など |
| ロギング・トレース | 通信の可視化、呼び出しログ取得 | リクエスト／レスポンスの記録、トレース ID 付きログなど |
| メトリクス | Gatewayの処理性能およびMCP/A2Aサーバの稼働状況の可視化 | リクエスト数、レイテンシ（応答時間）、エラー率、CPU/メモリ使用率などの収集とエクスポート |
AIオブザーバビリティ
AI Gatewayの重要な機能の一つとして、AIオブザーバビリティの向上があります。生成AIは、出力が不確実でハルシネーション（事実に基づかない内容や文脈と無関係な内容といった誤情報を生成する現象）などのリスクがあるため、従来のログ、メトリクス、トレース監視だけでは不十分で、「AIの振る舞い自体」を理解する必要があります。
全てのリクエストが通過するAI Gatewayは、AIオブザーバビリティの向上に最適であり、主に以下の要素を収集、分析できます。
- ログ：プロンプトと応答のペアを記録し、問題の原因究明や監査に役立てます。また、MCP/A2Aによる外部ツール呼び出しやエージェント呼び出しの状況も記録します
- トレース：AIエージェントの複雑な処理の流れを可視化し、遅延や問題点を特定します。特に、外部ツールと連携するMCPや、エージェント同士が通信するA2Aのような複雑なやりとりでは、1つのリクエストがどのツールを呼び出し、エージェント間でどのような対話が行われたかを追跡することが不可欠です。これにより、予期せぬ挙動の原因究明やパフォーマンスのボトルネック特定が容易になります
- メトリクス：API利用状況に加え、トークン消費量やコストといったAI特有の指標を収集し、最適化につなげます
- 評価：記録データやフィードバックを用いてAIの出力品質を継続的に監視し、性能の劣化などを検知します
AI Gatewayの主要プロダクト／OSS
AI Gatewayの主要プロダクトを紹介する前に、プロダクトごとの星取表（主要プロジェクトの素性と設計思想）を下記に示します。
では、それぞれ詳しく見ていきましょう。
Cloudflare AI Gateway（LLM Gateway）
CloudflareはCDN（Content Delivery Network）プロバイダーとしてご存じの方も多いと思います。Cloudflare AI Gatewayは、前述の通りAI Gatewayの概念を提唱した同社が実装したSaaS（Software as a Service）です。
もともとは、LLM GatewayをAI Gatewayとして提供しており、キャッシュ、レート制限、動的ルーティング、DLP、ガードレール、BYOK（Bring Your Own Key）、コスト分析などの機能を提供しています。MCPについては、ゲートウェイではありませんが、MCPのサーバ群やデプロイ環境を提供しています。
Kong AI Gateway（LLM Gateway/MCP Gateway）
API Gateway製品を提供するKongが、AI向けにゲートウェイ機能を拡張したのがKong AI Gateway（またはKongのAI Gateway機能）です。Kongの既存Gateway基盤（ルーティング、認証・認可、プラグイン拡張性など）を土台としつつ、LLM特有の課題（プロンプト変換、マルチモデル選択、コスト制御、ガードレール、プロンプト圧縮、MCP統合など）を扱えるレイヤーを追加しています。
プロンプトの意味的な内容でレスポンスをキャッシュやルーティングするセマンティックキャッシュ・セマンティックルーティング、システムプロンプトをAI Gateway側で差し込むAIプロンプトデコレーター、AIのレスポンスを変換するAIレスポンストランスフォーマー（機密情報のマスキング、LLMのレスポンスの日本語訳などに利用可能）などの高度な機能を持ちます。
Kgateway（LLM Gateway/MCP Gateway）
KgatewayはSolo.ioによりオープンソースで開発され、Linux FoundationにコントリビュートされたAI Gatewayプロダクトです。もともとはKubernetesネイティブのAPI Gatewayとして設計され、LLMやMCPベースのエージェント通信を効率的に扱えるよう拡張されています。
Kgatewayは単体でゲートウェイ機能を提供するだけでなく、MCP Gatewayと組み合わせることで、複数のLLMモデルやツール呼び出しを統合し、統一的なエンドポイントで管理できるアーキテクチャを実現しています。
Kubernetes環境において、kgatewayをコントロールプレーンとして使用することで、agentgatewayプロキシを素早く立ち上げ、ライフサイクル管理ができます。このコントロールプレーンは、Kubernetes Gateway APIや kgatewayのカスタムリソースを、agentgatewayのデータプレーン向けのプロキシ設定へと変換します。
Agentgateway（LLM Gateway/MCP Gateway/A2A Gateway）
AgentgatewayもSolo.ioによりオープンソースで開発され、Linux FoundationにコントリビュートされたAI Gatewayプロダクトです。LLMやA2A、MCPベースのツール呼び出しを統合的に管理するためのゲートウェイとして設計されています。
API Gatewayの拡張機能としてAI Gateway機能が実装されたプロダクトは、アーキテクチャや設定方法が煩雑なことがあるものの、Agentgatewayは最初からAI Gatewayとして実装されており、分かりやすいアーキテクチャとなっています。
LiteLLM（LLM Gateway/MCP Gateway）
LiteLLMは、オープンソースで提供されており、多様なLLMへ単一APIで統一してアクセスできるソリューションです。当初はLLM Gateway（LLM Proxy）として提供されていたのでそのイメージが強いですが、最近はMCPサーバを統合するMCP Gatewayとしての機能も提供しています。
LiteLLMは導入や設定が非常に簡単であり、迅速にデプロイできる点も強みです。さらに、Proxyサーバとして実行する際には、リクエストのロギング、コスト追跡、APIキー管理、自動フォールバック（代替モデルへの切り替え）といった高度なゲートウェイ機能を利用できます。これらの運用状況を視覚的に管理・監視するためのGUI（グラフィカルユーザーインタフェース）も提供されています。
Docker MCP Gateway（MCP Gateway）
Docker MCP Gatewayは、Dockerが提供するオープンソースのMCP Gatewayソリューションであり、MCPサーバを隔離したコンテナ上にデプロイし、安全に利用できます。複数のMCPサーバをゲートウェイ上に統合し、AIエージェントとMCPサーバをセキュアに接続できます。
つまり、AIクライアント（例：LLM、AIアシスタント）と外部のMCPサーバ（ツール、データソースなど）の間でセキュアな仲介役として機能します。
Docker MCP CatalogとしてMCPサーバのカタログが提供され、カタログからMCPサーバを組み合わせてゲートウェイを構築することもできます。
その他
厳密にはAI Gatewayには分類されませんが、複数のLLMを包括して提供するサービスとしてOpenRouterやCometAPIなどがあります。これらのサービスを通じてAPIを利用すれば、OpenAI、Anthropic、Googleなどの複数のモデルプロバイダーを効率的に利用できます。OpenRouterの場合、無償で利用できるモデルも存在します。
ワークフローサービスであるZapierは、MCPサーバを8000以上提供しています。このようにワークフロー製品でも、MCPサーバ対応が増えつつあります。
どのAI Gatewayを選択すればよいのか
AI Gatewayの主要プロダクトを紹介してきましたが、では、企業がAI Gatewayを検討する上では、どの製品をどのような観点で選択すればよいのでしょうか？ ここでは、主要製品の選定指針、ポイントを考えてみます（※人や組織によって見解は異なると思いますので、あくまで一つの意見と捉えてお読みください）。
PoC（概念実証）で素早くモデル統合がしたい
OSSで手軽に導入でき、GUIで管理しやすいLiteLLM（オンプレミス向け）や、SaaSとして利用できるCloudflare AI Gatewayが選択肢となるでしょう。
商用でセキュアなモデル統合がしたい
ガードレールで不正なプロンプトをブロックしたり、細かい権限制御ができたりするKong AI Gatewayが選択肢となるでしょう。他の製品も同様の機能を持っていますが、設定ファイルだけでなく、GUIで設定できるのが強みです。
AIエージェント開発で外部接続を統合したい
下表のように、ユースケースによって選択肢は異なります。
| ユースケース | AI Gateway |
|---|---|
| ローカルでAIエージェントを構築したい | Docker MCP Gatewayが有力な選択肢の一つになる。可視化には課題があるものの、dockerコマンドでカタログからMCPサーバを検索し、コンテナで隔離した環境にデプロイできる |
| AIエージェントサービスを構築したい | GUIで設定、可視化をAI Gatewayにさせたいなら、LiteLLM、Kong AI Gateway |
| 可視化をPrometheusやGrafanaに委ねるなら、Kgateway、Agentgateway | |
| マルチAIエージェントを構築したい | 内部／外部にある多数のAIエージェントの通信を統合したい場合、Agentgateway |
| クラウドネイティブな環境でモデルとMCPサーバを統合したい | Kubernetesコンポーネントの一つとして開発されているKgateway |
AI運用を「制御された基盤」で実現
生成AIの企業利用が拡大する中で、AI Gatewayは統制されたAIエージェントのための中核インフラとして急速に重要性を増しています。
Cloudflareから始まったAI Gatewayは、Kongなどの商用製品から、LiteLLMやkgatewayといったOSSまで広がりを見せています。当初は単なるLLMへのプロキシとして始まりましたが、今では企業のAI利用全体を支える“統合制御プレーン”として、MCP/A2A対応や可観測性の強化を含め、進化を続けています。
AIの価値は「使うこと」よりも「使いこなすこと」にあります。AI Gatewayは、企業の生成AI活用を裏側で支える「見えない基盤」として、今後の企業のAI戦略にとって欠かせない存在になるはずです。
関連記事
国土交通省が「MCPサーバ」公開 APIの知識不要、対話形式でのデータ取得が可能に
国土交通省は、APIの知識不要で、自然言語による対話形式で「国土交通データプラットフォーム」からデータ検索が可能なMCPサーバを公開した。
生成AIは、ITインフラ構築・運用に具体的にどう役立つのか
生成AIの活用はアプリケーション開発の分野で急速に進んでいますが、アプリケーションを動かすためのITインフラ構築・運用業務にも生成AIを活用することで、業務の効率化が期待できます。そこで本連載は、ITインフラの構築・運用フェーズで生成AIがどう役立つのかを解説します。第1回は、まずITインフラ業務の現状を整理し、生成AI活用の全体像を紹介します。
「人だけで完結する仕事」がIT部門から消え、AIが25％を単独実行――Gartnerが変化を予測
Gartnerは、2030年までにAIが全てのIT業務に関与し、人だけで実施する業務は「0％」になると発表した。企業には人材配置やスキルの再構築が求められるとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
アイティメディアからのお知らせ
注目のテーマ
ITmediaはアイティメディア株式会社の登録商標です。