AIはもう「NVIDIA一強」ではない d-Matrixの創業者が語るAI推論のダイナミクス：学習と推論が逆転する世界（1/2 ページ）

AIでは推論ニーズが急拡大していく見通しだ。このトレンドは、AIアクセラレーターの世界をどう変えていくのだろうかか、推論特化型チップがNVIDIAのビジネスを侵食していくのか。実はそれほど単純な話ではない。有力スタートアップ企業、d-Matrixの共同創業者兼CEOに聞いた。

[三木泉，＠IT]

　必ずしも「AI＝NVIDIA GPU」ではなくなろうとしている。 推論の時代に移行していくからだ。

　Gartnerによると、2026年には推論への支出が学習への支出を上回る見込みだ。AI最適化インフラサービス（IaaS）の支出のうち、推論の比率が2026年には55%となり、2027年には59%に達するという。

　追い打ちをかけるのはAIエージェントの普及だ。これによって、推論量は飛躍的に増加すると見られている。

　そこでAI推論特化型アクセラレーションチップへの注目度が高まってきた。

　ビッグテック企業の間では、こうしたチップを自ら開発する動きが見られる。一方で、AI推論チップを開発するスタートアップ企業への注目度が高まっている。

　では、GPUによってAI学習で不動の地位を築いたNVIDIAはどうなっていくのか。存在が脅かされつつあるのではないかと考える人がいるはずだ。

　ジェンスン・フアン氏は2、3年前から学習と推論の逆転を見通し、一貫して「これからは推論の時代」と公言してきた。

　推論の時代に向け、NVIDIAは自社のラックシステムプラットフォームにおけるさまざまな要素の強化を進めている。一方で推論アクセラレーションスタートアップ企業の技術も取り込む。200億ドルという大金を支払って主要な一社であるGrogのライセンスを受け（事実上の買収とも言われる）、2026年8月に「Groq 3 LPX」として本格生産を開始した。

　　この市場はどんな構図になっていくのか。「推論チップがGPUを駆逐する」といった単純なものではない。

　本記事では、データセンター用AI推論チップの主要スタートアップ企業であり、NVIDIAとも手を組むd-Matrixの共同創業者でCEO（最高経営責任者）、シド・シェイス（Sid Sheth）氏の話から、AI推論アクセラレーション市場の今後の展開を探る。

学習と違う推論の要件に対応するアーキテクチャとは

　シェイス氏は共同創業者とともにd-Matrixを2019年に創業した。AlphaGoの論文が発表されてから3年後だった。

　当時、Googleなどのハイパースケーラーは、AIを検索などの内部サービスに利用し、より大規模なモデルの構築を進めていた。シェイス氏は、こうした企業におけるAIの学習や推論に対する需要の高まりを感じたという。

　学習は本格化しており、NVIDIAが既に市場を掌握しつつあった。

　一方で、推論については「これから来るもの」という位置付けだった。だが、「人間の世界で例えれば、教育は一度で終わるのに対し、推論は一生続く。ハイパースケーラーの外に広がり、世界中で使われるようになれば、大きな市場になると考えた」（シェイス氏、以下同）という。

　学習と推論の要件は異なる。

　学習では大量のデータを処理するため、高い演算性能と処理スループットが求められる。一方、推論では、学習済みAIにデータを入力して結果を得るまでの遅延をいかに短くするかが重要になる。

　その際に大きな課題となるのが、メモリとプロセッサの間で発生するデータ転送だ。AI推論では、モデルの膨大なデータをメモリからプロセッサへ繰り返し読み出す必要があるため、メモリ帯域、つまりメモリからデータを読み出してプロセッサに供給する速度が、推論性能を左右する重要な要素となる。

　そこでd-Matrixが採用したのが、インメモリコンピューティングだ。SRAMと演算器を密結合し、「メモリの中」で処理を実行する。

　まず、なぜDRAMではなくSRAMなのか。SRAMはDRAMに比べて大容量化には向かない一方、データへのアクセスが高速で、低レイテンシでの処理に適している。d-Matrixは、この高速なSRAMを演算器と一体化することで、メモリと演算器の間のデータ移動を大幅に減らしている。

　インメモリコンピューティングというコンセプト自体は当時既に生まれており、大まかにはアナログ、デジタルの2種類があった。d-Matrixではまずアナログを検討したが、最終的にデジタルでアーキテクチャを作った。

　「紙の上では素晴らしく見えても、シリコン上で動かすのは簡単ではない。正しいアーキテクチャにたどり着くことより、それを実際に動かすことに時間がかかった」

　創業後の最初の2年〜2年半の間、ほぼ全ての時間を開発に費やさざるを得なかったという。

SRAMの容量不足問題にどう対応するか

　d-MatrixのAI推論アクセラレーターカード「Corsair」は、PCIe経由でコンピューターに接続でき、空冷で動かせる。1枚のカードに2GBのSRAMを搭載している。

　シェイス氏によると、2GBは当時、技術的に実装可能な最大量であり、他社製品と比べてもはるかに大きかったという。

　だが、SRAMは高速である一方、容量を大きくするには技術的な限界がある。AIモデルが大型化すれば、メモリ容量を確保するために複数のカードを接続しなければならなくなる可能性がある。そうなると、カード間でデータをやりとりする必要が生じ、性能低下につながる。

　そこでCorsairでは、DRAMをボードに搭載できる設計を採用している。具体的には、256GBのLPDDR5メモリをキャパシティメモリとして搭載できる。ただし、DDR接続となるため、SRAMに比べて速度の点では不利になる。

　SRAMの容量拡大は、今後も容易ではない。

　「SRAMは製造プロセスが6nmから4nm、2nmへと微細化しても、容量の伸びが期待できない。われわれが実現した容量は、最後のサイズになる可能性もある」

　容量をDRAMで補うことはできるが、外付けのままでは遅延の問題が残る。AIモデルの大型化がますます進む中、低レイテンシと大容量メモリをいかに両立するかが、大きな課題になっている。