HPEが開発する「The Machine」のカギは、メモリのスケーラビリティ：「The Next Platform」で読むグローバルITトレンド（12）（3/3 ページ）

» 2017年09月20日 05時00分公開

[Timothy Prickett Morgan, The Next Platform]

ハイパースケール、HPCにおける有用性

　いずれにしても、ハイパースケールデータセンターを運営する企業は、クラスタを使ってグラフアナリティクスを実行している。グラフが極めて大規模であり、そうするしかないからだ。だが、われわれは、こうした企業は間違いなくThe Machineによく似たシステムを作っているのではないか、そしてIntelのシリコンフォトニクスも採用しているのではないかと見ている。The Machineもテストしているかもしれない。テストしていなくても、テストすることになるかもしれない。

　従来のHPCコミュニティーも同様だ。MPI（Message Passing Interface）を利用してメモリ共有を行うことに慣れているが、大規模共有メモリマシンにより、シミュレーションやモデリングのワークロードが高速化する可能性がある。

　結局のところ、これは常に夢見てきたことであり、RISC/UNIXマシンのクラスタの連合体によって、手ごろなコストでグローバルなアドレッシングスキームが実現できていれば、その技術が将来にわたって追求されていただろう。だが、そうはならなかった。

　それでも、われわれがクラスタを使用するのはキューイング理論に限界があり、SMPやNUMAアーキテクチャをスケールアップするコストが非常に高くつくからにすぎない。

　興味深いことに、The Machineのようなアーキテクチャは、われわれを過去に引き戻そうとしている。シリコンフォトニクスの速度と帯域幅によって、あらゆるメモリがデバイスにとってローカルに見えるからだ。ペタスケールのメモリでも、3500万ドルを投じて64GBメモリスティックを大量に買い、それらを接続するためにフォトニクスにも同じくらいの費用をかけられれば、同じくローカルに見える。

　では、現時点でエクサバイトのメモリにはどれだけのコストがかかるのか。皆さんは350億ドルのコストをどう思うだろうか。しかも、これはメモリだけにかかるコストだ。それでも、1つの巨大なグラフをその空間に保存することが可能だ。

　もう十分だろう。現実に戻ることにしたい。あるいは、起こり得る未来に。

論理的には共有メモリを1.25PBにも拡張可能

　比較のために、Xeon E7プロセッサ搭載（最大16個）のNUMAマシンであるSuperdome Xを見てみよう。メモリの最大容量は24TBで、近いうちに48TBに倍増する。また、SGIが開発し、現在はHPEの製品ポートフォリオに加わっているNUMAマシンである「UV300」は、メモリの最大容量が64TBとなっており、これは現在のXeonアーキテクチャでアドレス可能な最大メモリ量だ（なお、Skylake世代のXeonでもこの量は増えない）。

　つまり、HPEにとっては、The MachineのコンピュートとしてARMアーキテクチャを採用する理由があるわけだ。ご存じの方もおられるだろうが、アドレス可能なメモリ量で過去最大を誇るのは、依然としてCrayの「ThreadStorm」プロセッサだ。Crayのアナリティクスアプライアンス「Urika」（以前は「XMT」として知られていた）に採用されたこのプロセッサは古い“Gemini” XTインターコネクトをベースにしているが、8192プロセッサまで拡張でき、105万スレッドをサポートし、メインメモリの最大容量は512TBだ。

　The Machineは理論上、これを上回るスケーラビリティを備える。

　ブレスニカー氏によると、現在のX1モジュールとFPGAファブリックブリッジは、調整を加えることなく現在の4エンクロージャから8エンクロージャに拡張できる。これにより、メモリは320TBに増える。

　さらに、データセンターネットワークがリーフ／スパイン型の構成を取るように、フォトニックインターコネクトのレイヤーをラック内のマシンをリンクするレイヤーの上に追加することで、メモリ容量を4倍に拡張できるという。これでメモリは1.25PBとなり、システム内のコア数も32倍の40960に増える。

　「この世代については、そのくらいの規模まで拡張したい。そこから先に関しては、2010年代末までにエクサスケールシステムを構築することを目指している。2017年の残りの期間では、プロトタイプが500TBシステムに到達し、1PBに向けた作業に入っているだろう」と、ブレスニカー氏はThe Next Platformの取材に対して述べている。

　「だが、さらに3桁の拡張を達成するには、こうしたデバイスのシリコンへの実装が必要になり、マルチモードからシングルモードの光ファイバーへの移行によって、ネットワーク内の接続も広げる必要があるだろう」（ブレスニカー氏）

　Gen-Zコンソーシアムが不揮発性メモリアドレスプロトコルを完成させ、それが業界で受け入れられれば、The Machineはシリコンフォトニクスでそのプロトコルをサポートする。Gen-Zプロトコルに対応していれば、どのようなメモリもこのシステムに組み込めるようになるという。実際、ブレスニカー氏は、The Machineでは幅広いコンピュートやストレージが使えるようになると考えている。

　「The Machineに取り組んでいて興味深いことの1つは、人々がいまだに二分法的な考え方をする傾向があることだ。The Machineのユーザーは、ファブリックのエンドポイントとしてコンピュートやメモリを持つ。実際には、どのコンピュートも何らかのキャッシュを持つ。広い帯域幅のローカルメモリを一定量持つわけではないとしてもだ。また少なくとも、どのメモリもセキュリティのための暗号化やウェアレベリング、堅牢性の確保を目的としたイレージャ―コーディングなどが施される。つまり、純粋なエンドポイントというものはない」と、ブレスニカー氏は説明する。

　「コンピュート的なエンドポイントやメモリ的なエンドポイントがあり、いずれも異なる要素が混合しているがそれぞれ理にかなっている。Gen-Zのようなオープンインタフェースにより、われわれはこうした混合型のエンドポイントを適切なプロセスとコストで作成できる。そのおかげで投資を小規模に抑えることができ、本格的なSoCを開発しなくても済む」（ブレスニカー氏）

　また、グラフアナリティクスのようなアプリケーションでは、キャパシティはパフォーマンスの1つの要素にすぎない。そのため、HP Labsのハードウェアおよびソフトウェアエンジニアは、現在、プロトタイプ上のメモリアクセスをつかさどるアルゴリズムの調整に共同で取り組んでいる。

　「ソフトウェアエンジニアは、パフォーマンスを1桁か2桁高めることができるだろう」とブレスニカー氏は語り、こう付け加えた。「The Machineの160TBエディションは予想以上に安定しており、テストベッドとして使ってきたSuperdome Xと比べても、ほぼHPEの期待通りのパフォーマンスを発揮している」。ただし、最終テスト結果はまだ出ていないため、これらの点について同氏から具体的な説明はなかった。

出典：The Memory Scalability At The Heart Of The Machine（The Next Platform）