Googleが前回の発表から半年あまりで新たなTPUを投入した。その背景には、エージェント型AIの普及によって起きているAIインフラの「地殻変動」があると同社は説明する。
米Googleは2026年11月9日(米国時間)、同社のAIアクセラレータ「Tensor Processing Unit(TPU)」の新製品2機種を発表した。同社は2026年4月、第8世代のTPUとして、学習用の「TPU 8t」と推論用の「TPU 8i」を発表していた。半年あまりのうちに、それぞれの強化版を投入したことになる。
単一世代の中で1年のうちにTPUを4機種投入するのは同社として初めて。エージェント型AIの普及がもたらす「地殻変動」に対応するものだという。
新製品は、機密データの保護と低遅延推論を両立する「TPU 8tx」と、巨大なコンテキストウィンドウと高スループットを実現する「TPU 8i Max」だ。これらの投入に加え、周辺ツールも改善することで、モデルの学習から推論、機密データの処理、巨大なコンテキストの取り扱いまで、エージェントのライフサイクル全体の最適化を目指す。
Googleによると、AIインフラにおける現在の最大の課題は、従来の「人間とAIの対話型セッション」から「複数のステップを自律的に実行するエージェント型ワークロード」への移行にある。
チャットでは、ユーザーからの1回のリクエストに対して1回の応答を返す処理が中心となる。一方、エージェント型AIでは、ユーザーの1つのリクエストをきっかけに、タスクを複数のサブタスクに分割し、別のモデルの呼び出し、社内ツールの参照、コードの記述/コンパイル/実行、情報検索などを並列かつ継続的に行う。
結果として、バックエンドのインフラには、従来の10〜1000倍に及ぶ規模の並列処理やデータアクセスが発生するという。
こうした変化に伴い、インフラの設計には以下の3つの根本的な転換が求められているとGoogleは指摘する。
人間の尺度からエージェントの尺度へ 1回のリクエストが膨大な並列処理を引き起こすため、インフラに対するリソース要求が指数関数的に増大する。
記録システムから行動システムへ 単なる情報の検索や要約にとどまらず、企業内の基幹システムやデータ環境と直接連携してアクションを実行する。そのため、極めて高度なセキュリティとコンプライアンスへの対応が必要になる。
巨大なコンテキストの長期保持 複数段階にわたる処理では、ファイル、ドキュメント、電子メール、コードベースなどの膨大な情報を、複数の自律型エージェントが長時間にわたって保持・参照し続ける必要がある。
これらの課題に対処するには、単純にプロセッサーの数を増やすだけでは不十分だ。シリコン、システムネットワーキング、ストレージ、データセンターファブリック、ソフトウェア層を一体として協調設計する必要があるとGoogleは説明する。
新TPUでは、従来のような「tシリーズは学習用で処理性能を重視」「iシリーズは推論用で低遅延を重視」という単純な役割分担を超え、用途に応じた機能強化を施している。
TPU 8txは、TPU 8tと同じシリコンをAMDのCPUと統合した製品だ。ハードウェアレベルでコンフィデンシャルコンピューティング(機密コンピューティング)機能を実装した他、推論性能も大幅に向上させたという。
一般にデータは、ストレージへの保存時やネットワークでの通信時には暗号化されるが、プロセッサーで計算を実行する際にはメモリ上で復号される。そのため、実行中のデータがメモリ解析や不正アクセスによって漏えいするリスクがある。
TPU 8txでは、ホストCPUとして採用したカスタムAMD EPYCプロセッサーと連携し、推論の実行中もデータやモデルの重み(ウェイト)を保護する。これにより、処理中の機密情報に対する外部からの不正なアクセスを防ぐという。
推論性能については、専用の低遅延ネットワークトポロジーを採用し、通信オーバーヘッドを削減した。これにより、TPU 8tと比較して最大2倍の低遅延推論を実現するとしている。
また、学習に適した計算能力と高速な推論ネットワークを組み合わせることで、同一ポッド内で社内データを使ったファインチューニング、モデル蒸留、強化学習まで完結できる。機密データを別のクラスタに移送するリスクを回避できる点も特徴だ。
一方、TPU 8i Maxは、1つのパッケージ内に2基のTPU 8iを統合した製品だ。これにより、巨大なコンテキストを扱う低遅延推論に対応する。
複数のエージェントが同時に稼働する環境や、数百万トークン規模の長文コンテキストを処理する際には、メモリ帯域幅と容量の限界が深刻なボトルネックになる。
コンテキストを保持する容量が不足すると、エージェントが参照できる情報の範囲を狭めて精度を犠牲にするか、応答速度の低下を受け入れるかというトレードオフを強いられる。
TPU 8i Maxは、こうした制約を解消するためにデュアルチップ構成を採用し、計算能力とメモリ性能を大幅に強化したという。
このTPUでは384GBのHBM(高帯域幅メモリ)を搭載する。従来のTPU 8iと比較してメモリ容量を33%拡張し、大容量のコンテキストウィンドウやKVキャッシュを保持する能力を高めた。
また、HBMへのアクセス帯域幅は従来の2倍となる17.2TB/sに拡大。大量のデータを高速に転送することで、エージェントの処理がメモリアクセスによって停滞するのを防ぐ。
さらに、SRAM容量も2倍の768MBに増加した。これにより、アクセス頻度の高いデータを演算コアの近くに、より多く保持できるようになる。
では、4つの第8世代TPUはどのような棲み分けになるのか。
大規模なスケールアップ学習にはTPU 8t、低レイテンシの推論にはTPU 8i、コンフィデンシャルコンピューティングにはTPU 8tx、膨大なコンテキストウィンドウにはTPU 8i Max。これにより、エージェント型ライフサイクルのあらゆる段階に特化したアクセラレータを提供できるという。
Copyright © ITmedia, Inc. All Rights Reserved.