いかにして「GPU」は画像処理チップから“数値計算の常識”へと進化したのか？：AIとGPUの関係（1）AI前夜

いまやGPUは、AIや科学計算にも欠かせない計算資源へと進化を遂げた。もともと画像処理用として生まれたGPUが、なぜAI分野をはじめとした汎用的な分野で使われるようになったのか。その進化の過程を振り返る。

[冨永嘉之（NTTPCコミュニケーションズ）, 大原雄介, 編集：遠藤文康，＠IT]

　AI（人工知能）は「GPU」で処理するのが当たり前――という認識が一般的になりつつあるが、そもそもGPUとは何かといえば、「Graphics Processing Unit」（グラフィックス処理装置）の略で、要するに“グラフィックス処理”を行うために開発されたデバイスである。

　ではなぜグラフィックス処理のためのデバイスとAIが関係するのかを考えると、そこにはさまざまな歴史的な生い立ちが絡んでくる。まずはAI分野が立ち上がる前夜までの歴史を紹介したい。

GPUとは何か：グラフィックス専用チップの進化

　最初にGPUと呼ばれるようになった製品は、1999年に発売されたNVIDIAの「GeForce 256」（写真1）というのが一般的な認識だと言えよう。GeForce 256はMicrosoftの「DirectX 7」（ゲームからグラフィックス処理を呼び出すライブラリ）に対応した製品である。1980年台のPCで既にゲームは広く利用されていたが、これはあくまで2D（2次元描写）を利用したもので、昔のファミコン（ファミリーコンピュータ）の画面などの延長だったわけだ。

写真1　1999年に発売されたNVIDIAの「GeForce 256」（NVIDIAの公式サイトから引用）

　ところが1995年ごろに、後にNVIDIAが買収した3dfx Interactiveが3D（3次元描写）を可能にするビデオカードを発表し、たちまちこれが使われるようになった。当初の描画は、初代「プレイステーション」にも劣るほどだったが、そこから急速に進化し、より緻密かつ高精細・高解像度な描画に向けて突き進んでいった。この場合、ゲーム画面内のさまざまなオブジェクト（登場物）を全て3Dの立体として扱い、さらにカメラアングルや照明の位置関係に応じて、どのように画面に映るのかを計算する必要がある。

　当初はこうしたグラフィック特有の計算を全てCPU（Central Processing Unit：中央演算処理装置）が担っていたが、位置関係や照明の計算はビデオカードに任せることで高速化しようというアイデアが登場する。これを最初にサポートしたのがDirectX 7であり、それに対応した最初の製品がGeForce 256である。つまり「グラフィックス処理に特化した計算を処理するユニット」ということで、GPUという名称が用いられようになった。

GPUの汎用計算チップ化はどこで始まったのか？

　その後も計算処理の性能競争は続き、さらにゲームの側もより高精細で微細かつリアリティーのあるゲーム画面を求めたため、毎年のように新製品が登場することになる。GeForce 256の時代でもCPUを上回る性能であったが、ここからCPUを上回る速度で性能が向上していく。当時、CPUとしてはIntelの「Pentium III」や、Advanced Micro Devices（AMD）の「Athlon」が登場していた。

　ただし、そうした性能向上に伴って価格も上昇していった。例えば1999年にGeForce 256は199ドル、対してCPUはPentium IIIの1GHz品が990ドル（いずれもList Price＜定価＞）と、圧倒的にCPUの方が高価だった。それが2003年5月に発売された「GeForce FX 5900」は499ドル、対して当時発売されていたIntelの「Pentium 4」はハイエンドの3.06GHzでも589ドル、その下の2.80GHzだと375ドルと、既にCPUとGPUの値段が同程度にまで近づいており、この後、GPUの値段がCPUを軽く上回るようになる。

　価格がこうなってくると、特に高性能なGPUは一部のゲームマニアにしか売れない製品になり、GPUメーカーとしても採算が取りにくくうまみが少なくなる。どうにかして他の用途を見いだし、より広範なマーケットに販売できるようにしなければ、新製品の開発費用さえ賄えなくなってしまう。

CUDA誕生：GPUが汎用計算チップへと進化

　まずNVIDIAは2002年、「GeForce FX 5800」シリーズの発表に合わせて、新しい描画エンジン「CineFX」を搭載した。内部構造を見直し、普通の数値演算も可能になるという触れ込みで登場したものの、最終出力が画面描画になり用途が限定されてしまうこともあり、これが普及するには至らなかった。

　ただこの教訓を基に、NVIDIAは2007年に「CUDA」を発表する。CUDAは「Compute Unified Device Architecture」の略で、GPUの内部のエンジンを一般的な数値演算に対応させ、その計算結果を直接CPUで受け取れるという機能を実装したものだ。GPUでいうと、2006年に発表された「GeForce 8800」シリーズ（写真2）がこのCUDAに対応した最初の製品であるが、翌2007年には特にサーバ向けの連続稼働環境への対応を施した「Tesla」シリーズの最初の製品である「Tesla C870」（写真3）が発表された。

写真2　CUDAに対応したNVIDIAの「GeForce 8800」（NVIDIAの公式サイトから引用）

　このTesla C870は単精度浮動小数点演算（32bitで表現される浮動小数点数を使った計算）のみのサポートではあるものの、519GFlops（Giga Floating-point Operations Per Second：単精度浮動小数点演算）という、当時としては非常に高い性能を誇った。同時期のCPUとしては、2007年3月発売のIntel「Xeon 5300」シリーズが該当するが、ハイエンドの「Xeon X5365」（4コア、3GHz駆動）でも48GFlopsでしかなく、Tesla C870の方が圧倒的に高速だった。

写真3　Teslaシリーズの最初の製品「Tesla C870」（NVIDIAの公式サイトから引用）

　そこでさまざまな研究機関がまずGeForce 8800シリーズを購入し、自前の数値演算プログラムをCUDAに移植するという試みが始まった。そこである程度結果が出ることが確認されると、次のステップとしてTeslaシリーズを導入して、本格的な利用に入るという具合だ。まずは天文学や気象予測、流体シミュレーションといった数値計算を多用する研究分野で活用が始まり、次いで産業分野でのシミュレーションや計算などにも取り入れられるようになった。グラフィック以外の用途に利用されるということで、こうしてGPUを汎用（はんよう）的に使うことを「GPGPU」（General Purpose Graphics Processor Unit：汎用GPU）と称する。

GPU強化：研究機関が飛びつき、スーパーコンピュータに採用

　NVIDIAもこうしたニーズに向けて、Teslaシリーズを強化。2009年には倍精度浮動小数点演算（64bitで表現される浮動小数点数を使った演算処理）をサポートしたマイクロアーキテクチャ「Fermi」の製品を投入。このFermiを利用した「Nebulae」（星雲）と名付けられたシステムは、スーパーコンピュータランキング「TOP500」の2010年6月版で2位に輝いた。これは深センの中国国立スーパーコンピュータセンターに設置されている。

　この辺りから、「数値演算にはGPUを併用するのが効果的」という風潮が本格的に広まり、大規模なスーパーコンピュータシステムだけでなく、大量の数値演算が必要とされる研究・産業機関でGPUを併用することが次第に普通になってきた。続いて、マイクロアーキテクチャとしては2012年に「Kepler」、2015年に「Maxwell」、2016年に「Pascal」の製品が投入された。

　この頃まで、サーバ向けのTeslaとゲーム向けのGeForceでは基本的に同じコアを利用して、構成や動作周波数、メモリ搭載量などで両者を分けていた。これは先に書いた「より広範なマーケットに販売できる」方針に沿ったものである。もっともそのPascalをベースにした「Tesla P100」は、サーバラックに収めることを前提にしたモジュール構成のラインアップ（写真4）も用意されるなど、同じアーキテクチャといっても実際のGPUのダイ（半導体素子）そのものは、GeForce向けとは異なる構成だった。製品レベルで言えば、Teslaのラインアップには映像出力が用意されていない。これはコネクターを省いただけであって、映像を出力する回路そのものはチップ内に用意されていた。

写真4　GeForce向けとは異なる構成となった「Tesla P100」（NVIDIAの公式サイトから引用）

「数値演算はGPU」が世界の常識になるまで：Volta登場とAI前夜

　サーバ向けGPUの方向性をさらに進めたのが、2018年に投入されたマイクロアーキテクチャ「Volta」をベースにした「NVIDIA V100」である。この世代からTeslaというブランドを製品名に使用しなくなった。Voltaは基本的にサーバ向けGPUとして開発されており、NVIDIAとしては初めて、GeForce向けとは異なるラインアップを本格的に展開させた。要するにサーバ向けGPU専用のダイを開発できるほど、GPGPUのニーズが高まってきたということでもある。

　余談だがこのNVIDIA V100についても映像出力回路そのものはチップに含まれており、ワークステーションあるいはエンスージャスト（ハイエンドを品を好む熱心な愛好家）向けの超高価なGPUとして「Titan V」（写真5）あるいは「Quadro GV100」といった製品も発売されており、こちらは映像出力が可能になっている。

写真5　VoltaをベースにしたハイエンドGPU「Titan V」（NVIDIAの公式サイトから引用）

　このNVIDIA V100はIBMのプロセッサ「POWER9」と組み合わせ、米オークリッジ国立研究所（ORNL：Oak Ridge National Laboratory）に納入された「Summit」と「Sierra」というスーパーコンピュータに搭載された。このSummitとSierraは、米国の「ASC」（Advanced Simulation and Computing Program：先進シミュレーションおよびコンピューティング計画）というプロジェクトの延長にあるのだが、ASCの目的は核実験の数値演算シミュレーションを行うことであり、つまりそうした用途に使われるほどにGPUは広く使われるようになったということだ。

　先にTOP500の話に触れたが、2018年6月の時点でTOP500にランクインされている世界中のスーパーコンピュータの56％が、CPUとGPUのハイブリッド構成になっている。こうして「数値演算と言えばGPU」という考え方が、CUDA登場から10年余りで確立したわけだ。

---

　次回は、AI分野でGPUが使われるようになった背景といきさつを振り返る。

筆者紹介

冨永 嘉之（とみなが よしゆき）　NTTPCコミュニケーションズ

約15年にわたりWebARENAホスティングサービスの企画・開発に従事。VPS／IaaSサービス「Indigo」「Indigo Pro」の開発およびサービス立ち上げを主導してきた。現在はAIソリューション事業部にて、GPUクラウドやNVIDIA Omniverseを実行基盤とするVDIクラウドの企画・開発を担当。インフラ事業者としての技術的強みを生かしながら、AIを活用したアプリケーションを前提としたプロダクト設計や役割分担を意識し、フィジカルAI分野への展開を見据えたサービス企画を推進している。

大原 雄介（おおはら ゆうすけ）　テクニカルフリーライター

ITよりもう少し下のレイヤー（半導体技術、OS、CPU・メモリ・I/O・ストレージ・ネットワークのアーキテクチャなど）と組み込み向けを分野とするテクニカルフリーライター。

過去のWeb掲載記事は http://www.yusuke-ohara.com/ に一覧あり。

最新の掲載記事は https://bsky.app/profile/yusukeohara.bsky.social に。