AIデータセンターの設計を変革 「Virgo Network」をGoogle Cloudが発表

Google Cloudが、新たなAIデータセンターネットワーク、「Virgo Network」を発表した。ネットワークが原因でGPUやTPUの投資対効果が低減することを防ぐ目的がある。

[三木泉，＠IT]

　Google Cloudは2026年4月下旬、年次カンファレンス「Google Cloud Next ‘26」で、超大規模AI（人工知能）データセンターのための新たなネットワーク、「Virgo Network」（以下、Virgo）を発表した。これは百万基規模のチップを相互接続してAI学習を行うためのネットワーク。同カンファレンスで発表したTPUの「TPU 8t」と、NVIDIAのVera RubinアーキテクチャGPU搭載ベアメタルインスタンス「A5X」に最適化した設計だという。同社は今後も、アクセラレータ―の進化に対応し、ネットワークを刷新していくとしている。

　AIの学習では、大規模化・高度化に伴う問題が表面化しているとGoogle Cloudは説明する。

　学習では、多数のアクセラレーター（GPUやTPU）間でメモリを協調的に利用し、単一の巨大な仮想的計算資源として機能させる必要がある。計算能力が急速に向上を続けるアクセラレータ―を多数使うと、相互の通信がボトルネックになり、パフォーマンスが上がらない状況になる。このため、アクセラレーターへの追加投資が無駄になりかねない。

　Virgoは広帯域、（確定的な）低遅延、そしてAI学習の通信特性への対応により、この問題を解消するという。

単一ファブリックに13万基以上のTPU　Virgoの仕組みとは

　Virgoはチップ間のRDMA（Remote Direct Memory Access）通信専用のネットワーク。単一のファブリックに最大13万4000基のTPU 8tをノンブロッキングで接続できる。さらに光スイッチで複数のファブリックをつなぎ合わせることで、100万基以上のTPUを単一のクラスターに収容できる。バイセクション帯域幅は47Pbpsで、これまでのネットワークの4倍だという。

Virgoの概念図（Google Cloudブログポストより）

　データセンターのネットワークは、複数の小さなスイッチを段階的に組み合わせる「Closトポロジー」で構成されている。一般的には「Leaf-Spine」の2段構成だが、大規模なネットワークの場合「Leaf-Spine-Core」の3段構成とせざるを得ず、ホップ数が増加してしまう。

　Vergoでは前述のように多数のアクセラレーターを収容するネットワークでありながら、2段構成とし、ホップ数を最多で7に抑えている。「ハイラディックス・スイッチ（High-Radix Switch）」と呼ばれる、1台で多数のポートを備えたスイッチを使うことにより、これを実現している。

　「TPUのファブリックレイテンシーを従来比40%削減できる。単一の遅いノードがプロセス全体を停止させる可能性がある同期AIトレーニングにおいて、極めて重要な役割を果たす」（Google Cloudのブログポスト）

　ネットワークは複数の独立したスイッチングプレーンで構成されている。このため、1つのプレーンで障害が発生しても、トレーニングジョブ全体が停止することはない。利用可能な帯域幅がわずかに減少するだけだという。

　さらにVirgoでGoogle Cloudが強調するのは、サブミリ秒単位のテレメトリによる、AI学習特有のトラフィック特性への対応。

　Google Cloudは次のように説明する。

　多数のチップが同時に計算を行い、結果を共有することで成り立つAI学習では、ミリ秒レベルで通信スパイクが発生し、ネットワークスイッチのバッファを圧迫する。このため、処理がわずかに遅れたノードが1つあるだけで、クラスタ全体のパフォーマンスが低下する。

　Virgoでは、ミリ秒以下の単位でトラフィックのモニタリングを行い、こうした瞬間的な輻輳を検知し、バッファの管理やパフォーマンス低下の原因特定を行う。

サブミリ秒単位のテレメトリを実現（Google Cloudブログポストより）

　例えば、速度が低下したり、ハングしたりしているノードを自動的に検知し、トレーニングジョブのパフォーマンス低下を防ぐという。