東大物性研の第6世代スパコンシステム「Ohtaka」にDell EMC PowerEdgeサーバが選ばれた理由とは：研究者がスパコンに求めた3つの要件を満たす

東京大学附置の全国共同利用研究所として設立された東京大学物性研究所は、1995年以降スーパーコンピュータシステムの全国共同利用事業を運営している。5年ごとにシステムを更新していく中、2020年、第6世代スーパーコンピュータシステム「Ohtaka」に、デル・テクノロジーズの「Dell EMC PowerEdgeサーバ」を採用した。その概要や選定理由などについて、同研究所 物質設計評価施設・設計部 尾崎研究室の福田将大氏にお話を伺った。

[PR／＠IT]

基礎物性科学推進に向け、スーパーコンピュータシステムの全国共同利用事業を運営

　東京大学物性研究所（以下、物性研）は1957年、「物性分野における世界最高水準の基礎研究の先導」を目指し、東京大学附置の全国共同利用研究所として設立された。設立当初から、研究や人材育成、共同利用、共同研究を主要な軸として活動してきた組織だ。

　新物質の合成や新規なナノ構造の作製、独創的な測定手法の開発などの実験的研究と、新たな概念・モデルの提唱や計算手法の開発といった理論的研究の有機的な連携により、基礎物性科学を総合的に推進し、年間300編前後の学術文献の発表につながっている。

　2010年以降は、共同利用・共同研究拠点の中の物性科学研究拠点として文部科学省から認可され、常時多数の所外研究者が利用している。民間企業との共同研究も積極的に推進しており、専門的知見に基づいた新しい物質の設計や合成と評価、新しい原理の構築といった物性研のノウハウを生かし、電池材料や触媒から化粧品、食品など幅広い業種、企業との共同研究事業を進めている。

　物性研内の組織「物質設計評価施設」（MDCL）は、さまざまな実験設備の共同利用の一環として、スーパーコンピュータシステムの全国共同利用事業を運営している。1995年の初代以降、ほぼ5年ごとにシステム更新を続け、2020年、第6世代となるスーパーコンピュータシステムを導入することになった。

多様な研究ニーズに対応するスーパーコンピュータシステムとは

　物性研では500人規模のアカデミックな利用者を抱え、多くの利用者が自作プログラムを用いて計算を実行している。先鋭的な自作プログラム開発に力点を置き、計算の限界に挑戦する研究の一方で、独創的な理論研究をサポートするための数値計算も必要だ。この他、既存のパッケージを用いた実験結果の解析やデータベースを作成するような研究、最近発展している機械学習を用いた物性研究など、多様なプロジェクトでスーパーコンピュータシステムが利用されてきた。

スーパーコンピュータシステムを利用した研究（1）　光によって励起されるスピン流を電流に変換することで太陽光発電の高効率化にも応用できる。この研究では円偏光でスピン流を生み出せることを明らかにした（物性研スパコンパンフレット2021, pp.11-12より。Phys. Rev. Lett. 122, 256401(2019)）

スーパーコンピュータシステムを利用した研究（2）　マヨラナ粒子の実験的な検出に資する理論を構築する目的で、大規模な数値シミュレーションを駆使し、キタエフ模型の有限温度の性質を明らかにした（物性研スパコンパンフレット2021, pp.13-14より。Nat. Phys. 13, 1079 (2017)）

スーパーコンピュータシステムを利用した研究（3）　1500万粒子で構成されたラメラ構造の破壊プロセス。スーパーコンピュータを使用した大規模計算により、実験では直接見ることのできない破壊現象を可視化することができる（物性研スパコンパンフレット2021, pp.15-16より。Phys. Rev. E 103, 042502 (2021)）

　こうした状況で「新システム導入に当たっては、可能な限り利用者の多様な要望に応えられるように、システムの仕様策定は慎重に進めました」と語るのは、東京大学物性研究所 物質設計評価施設・設計部 尾崎研究室の助教 福田将大氏だ。

　検討の結果、新システムに対して、（1）超大型計算を可能にする先端的な機能、（2）既存のプログラムが高速かつ安定に動作する計算環境、（3）できる限り多くの計算時間、という3つが重要な点として上がってきた。

　まず（1）については超大型計算を可能とするため、ノード間を高速なネットワークでつなぐことにした。（2）については、各研究室のPCクラスタで作り上げたプログラムを最小の労力で動かせるシステムを目指し、PCクラスタとの親和性が高いx86系のCPUを搭載したサーバを選んだ。（3）については、総理論演算性能を高めるため、できるだけ多くのCPUを用いたシステム構成とするなど、新システムのアウトラインを固めていった。

　こうした方針に対し、AMDのサーバ向け最新プロセッサ「EPYC（エピック）」に対応した「Dell EMC PowerEdgeサーバ」を提案したのがデル・テクノロジーズだ。高いアプリケーション性能を引き出すことや機能に優れたシステム構成であることがベンチマークによる実性能評価試験により認められ、さらに汎用（はんよう）的なハードウェアやソフトウェアによる使いやすさ、大規模HPC（ハイパフォーマンスコンピューティング）システムの運用構築に対するノウハウなどが高く評価され、採用が決まった。物性研の第6世代スーパーコンピュータシステム「Ohtaka」の誕生である。

　「Ohtakaは、利用者の多様なニーズを反映した3つの要件を最大限に満たすように設計しました。物性研究のレベルアップに大きく貢献するものと期待しています」（福田氏）

2つの計算ノードを兼ね備え、多様なニーズに応えるシステムを最先端テクノロジーで実現

　クラスタ型スーパーコンピュータ（※1）である「Ohtaka」の中核に採用されたのは、デル・テクノロジーズの超高密度サーバ「PowerEdge C6525」だ。OhtakaにはCPUノードとFatノード（※2）と呼ばれる2種類の計算ノードがあり、ノード間のデータ転送には高速なInfiniBand HDR100を用いたネットワークを用いた。

※1 クラスタ型スーパーコンピュータ：複数のコンピュータを結合して、膨大な計算性能を発揮できるように構成されたシステムのこと。
※2 CPUノード、Fatノード：CPUやメモリなどをひとまとめにしたものを「計算ノード」と呼び、多くの計算ノードを高速なネットワークでつないだものがスーパーコンピュータの本体となる。ここでは標準的な構成の計算ノードを「CPUノード」、大容量メモリを搭載した計算ノードを「Fatノード」と呼んでいる。

　主要部を占めるCPUノードは、2個の「AMD EPYC 7702」と256GBのメモリを搭載したPowerEdge C6525の1680台構成とした。一方、Fatノードは、4個の「Intel Xeon Platinum 8280」と3TBのメモリを搭載した「PowerEdge R940」の8台構成とした。

　最先端テクノロジーで構成される「Ohtaka」は、旧システムの約2.6倍に当たる約6.9PFLOPSの総理論演算性能を有し、2020年11月のスーパーコンピュータ「TOP500」において87位と国内屈指の処理性能を誇る。さらに、スーパーコンピュータシステムを支えるIT基盤製品に、水冷冷却方式「Passive Rear Door Cooling Unit」を採用した。電力と冷却のバランスのとれた効率的なシステム運用が期待できる。

高性能＆安定的で使いやすいスーパーコンピュータシステムが物性研究の発展を促す

　物性研における共同利用・共同研究は年々増加し、2020年度は300を超えるプロジェクトが採択された。スーパーコンピュータシステムの稼働率は2000年度以降おおむね95％以上で、利用率（稼働時間中に計算資源が使われた割合）も2015年以降90％程度の高水準を維持し続けている。全国共同利用であるため、公募採択された大学研究者に無料で提供されることも一因だが、物性研スーパーコンピュータシステムの安定性や信頼性が評価された結果と言えそうだ。

　国内屈指の総理論演算性能を有する「Ohtaka」。物性研は利用者がよりスーパーコンピュータシステムを使いやすくするため、2015年からソフトウェア開発・高度化プロジェクトを推進している。「今回導入された『Ohtaka』は、旧システムより効率的に大規模なシミュレーションを行うことができる、国内屈指の総理論演算性能を有するスーパーコンピュータシステムです。全国の物性研究者が本システムを利用することで、高温超伝導の機構解明などの基礎研究から高性能な電池・磁石の開発などの応用研究まで、幅広い物性科学の研究が発展していくと期待されます。今後も物性研は、全国の研究者に高性能かつ安定的な計算環境を提供し、物性科学の研究のさらなる発展に貢献します」（福田氏）