ソフトバンクの「1人100エージェント」を支える独自AIゲートウェイ「Cloud Proxy」の正体：ソフトバンク生成AI導入を支えた企業ITの現場（2）

生成AIやAIエージェントを全社展開する際、企業はセキュリティやガバナンス、性能といった課題に直面しがちです。ソフトバンクは「全社で1人100エージェント」構想の実現に向けて、AI利用の入り口となる共通基盤「Cloud Proxy」を内製しました。その設計思想や性能強化の取り組み、自動化による迅速なスケールアウト、マルチLLM対応など、Cloud Proxyを支える設計思想と運用の工夫を紹介します。

[前田諭史（ソフトバンク）, 椋名裕磨（ソフトバンク），＠IT]

号令は「1人100エージェント」

　2025年、ソフトバンク社内に激震が走りました。ソフトバンクの宮川潤一（代表取締役 社長執行役員 兼 CEO）が掲げた「全社で1人100エージェント」という構想です。単に「AIを使いこなそう」というスローガンではありません。2万人の従業員が日常的に数千〜数万個のAIエージェントを稼働させる、文字通りの「ミッションの始まり」でした。

　この壮大な構想を前に、現場が直面したのは、その実現を阻む「5つの壁」でした。

理想の前に立ちはだかる「5つの壁」

　生成AIの全社展開を目指す企業が直面しやすい5つの壁があります。それが以下に示す5つです。

1. 契約の壁：ライセンス契約や予算化に多大な工数が必要
2. 環境構築の壁：セキュアな環境構築に一定期間（数週間など）のリードタイムが発生
3. セキュリティの壁：API（アプリケーションプログラミングインタフェース）キーの漏えいリスクや、不適切なプロンプトによる情報流出の懸念
4. ガバナンスの壁：利用状況がブラックボックス化し、コスト管理が不可能
5. 性能の壁：爆発的なリクエスト増に既存構成では対応不可能

　この中でも、ソフトバンクでは特にセキュリティの壁、ガバナンスの壁、性能の壁という3つの壁を越えるために、共通基盤となるAIゲートウェイ「Cloud Proxy」の強化・改善に取り組むことになりました。

2023年から備えていた「セキュアな一本化」の仕組み

　ソフトバンクは生成AIが騒がれ始めた2023年から、特にLLM（大規模言語モデル）の爆発的な需要拡大を見据えて、Cloud Proxyの構築を開始しました。拡張性を確保しながら、セキュリティや統制にも対応できる構成を目指しました。

　Cloud Proxyの特徴の中でも特筆すべき点は、テナント（利用組織）や利用者ごとに「Internal Key」を配布し、認証や認可を一元管理する設計です（図）。

　従来、各部署がLLMのAPIを利用する際には、外部サービスのAPIキーを直接扱う必要がありました。この運用は、APIキーの漏えいリスクを伴うだけではなく、「誰が、どのモデルを、どれだけ使ったか」を追跡しにくいという課題がありました。

　Cloud Proxyは、テナントや利用者ごとにユニークなInternal Keyを、開発者に配布します。Cloud Proxyがテナントを管理し、リクエスト時にInternal Keyを外部サービスのAPIキーへと変換する仕組みです。

図　Cloud Proxyのシステム概要（提供：ソフトバンク）《クリックで拡大》

　この仕組みにより、ソフトバンクは以下を実現しました。

• APIキー漏えいリスクの低減：開発者が外部サービスの認証情報に直接触れない運用
• トークン単位の利用可視化：全てのリクエストログを中央保管し、トークン消費量を精緻に追跡
• 柔軟なアクセス制御：テナントごとに接続先LLMを設定
• 監査対応：事後的な監査とコンプライアンス要件に対応

　2023年の立ち上げ当初からこの設計を採用していたことが、2025年の1人100エージェント構想による急激な利用拡大を支える土台となりました。セキュリティと統制を確保しながら、開発スピードを犠牲にしない。この初期アーキテクチャがCloud Proxyの本質的な特徴です。

「性能の壁」を14日間で突破

　1人100エージェント構想が発表された際、最大の課題は「性能」でした。1日当たり3000万リクエストを超えるトラフィックが見込まれていたからです。ミッション完遂に向けたCloud Proxyの強化において、私たちのチームに与えられたのは14日間という短期間でしたが、その間に限界スループット（処理できるリクエスト数の上限）を2倍へと引き上げるスケールアウトを実施できました。

　この構築スピードを支えたのは、ワークフロー自動化ツール「n8n」を活用した、徹底した構築作業の自動化です。1人100エージェント構想ではスケールアウトを14日間で実施しましたが、自動化を進めた結果、今後の急な増設時には、わずか5分以内でのスケールアウトが可能な体制を実現しました。柔軟性のあるアーキテクチャによって、急なトラフィック増にも手作業に依存せずに対応できるようになりました。

　マルチLLM（複数のLLM）への対応も迅速化しました。「Azure OpenAI Service」の各モデルや「Gemini」、国産モデルの「Sarashina」など、新しいモデルを追加するための導入プロセスをテンプレート化したことで、従来は数カ月を要していたモデル追加作業を1週間で完了できる体制を構築しました。

　さらに重要な点は、通信インフラを支えるネットワーク運用に求められる、高度なセキュリティ要件にも対応した点です。Cloud Proxyを独自のIdP（Identity Provider）に対応させることで、AI利用手続き工数の70％削減を実現しました。

AI時代の「入り口」を握るということ

　現在、Cloud Proxyは240システムと2万人以上の利用者に活用され、トークン単位の詳細な追跡を可能にしています。昨今、外部ベンダーから類似のプロキシ製品が数多く提案されていますが、ソフトバンクが2023年という早期に自社開発に踏み切り、既に実運用フェーズにあることには意義があると考えています。

　ゼロトラストセキュリティの要件を満たしつつ、独自のリクエストログ保持や課金管理といったニーズにも柔軟に対応できるのは、内製ならではの強みです。1人100エージェント構想の先にあるソフトバンクの成長戦略「Activate AI for Society」に向けて、AIの入り口を一本化し、課題を一つ一つ解決します。それが当社の進む道です。

　ソフトバンクは、膨大なAIエージェントがつながるネットワークの実現を通じて、AIを日々の暮らしや仕事の中で「本当に役立つ道具」として広めることを目指しています。私たちのチームが取り組むのは、複雑になりやすいAIの入り口を整理し、誰もが安心して使い始められる環境を整えることです。

　技術の進化には、コストや処理スピードといった現実的な課題が常に付きまといます。私たちはその一つ一つの課題から目をそらさず、現場の皆さまと共に着実に解決する。派手な言葉だけではなく、確かな技術と結果を積み重ねることで社会に貢献することが、ソフトバンクの進む道を支えるのだと考えています。

執筆者プロフィール

前田諭史（まえだ・さとし）、椋名裕磨（むくな・ゆうま）

ソフトバンク ビジネスシステム開発本部 デジタルカスタマーケア統括部 システム基盤開発部 Team AI Gateway。全社AI共通基盤「Cloud Proxy」の開発・運用を主導。2023年のサービス開始以来、大規模トラフィック下でのAI基盤安定化とマルチモデル化を推進しています。