AMDの多コアサーバCPU「第2世代EPYC」が、GMOインターネットのサービスに直結する理由：高性能高密度のサーバを実現するには

AMDが2019年8月に発表したサーバCPU「第2世代EPYC」の採用が相次いでいる。その一社がGMOインターネットだ。同社はクラウド／VPSサービスにおいて、第2世代EPYC搭載サーバの導入を拡大中だ。なぜ採用に至り、どのような効果があったのか。

» 2020年09月29日 10時00分公開

[PR／＠IT]

　多様なインターネット関連サービスを展開しているGMOインターネット。クラウドVPS（Virtual Private Server）サービスを支えるサーバのCPUはAMDのEPYCを採用、ビジネスの拡大に伴ってさらに台数の増強を進めている。EPYC搭載サーバを採用した理由を、GMOインターネットシステム本部クラウドサービス開発部の的場侑也氏に聞いた。

一部インフラをEPYCベースに移行、第2世代はさらに魅力的に

　GMOインターネットはOpenStackやWindows Serverをベースとしたクラウドサービスを長年提供している。1年ほど前にWindows Serverのクラウドサービスプラットフォームをリニューアルし、現在はハイパーバイザーに「Windows Server 2019」の「Hyper-V」を利用し、仮想サーバを各ユーザーに割り当てる形態で提供している。

GMOインターネットが提供するクラウドサービスのアーキテクチャ

　プラットフォームの大規模リニューアルでは、ハードウェア選定の検討対象として幾つかのサーバが挙がっていた。旧サービスは他社製x86 CPU搭載サーバを使っていたため、他社のx86ベースのサーバは当然検討対象だったが、その頃AMDが発売したEPYCの第1世代（開発コード名「Naples」）ベースのサーバも候補に挙がった。

GMOインターネットの的場侑也氏

　「検討を始める少し前に『SpectreとMeltdownのCPU脆弱（ぜいじゃく）性問題』があり、弊社も対応にかなりの工数を取られました。パッチを当てたりOSをアップデートしたりすると、パフォーマンスが落ちてしまう。そのため、よいものがあれば変えたいと考えていました。また、AMDが『Opteron』に替わる新しいサーバ向けプロセッサをリリースしたこともあり、どんなものだろうという興味もありました」（的場氏）

　クラウド／VPSサービスインフラはパフォーマンスと安定性に加え、潤沢なCPUコア数も必要だ。利益を確保しながらリーズナブルな料金を実現するには高密度化を追求したい。

　「EPYCはCPU当たりのコア数が多い。われわれが必要としているコア数を実現するためには、従来のCPUだと2基必要になるので、2ソケットのサーバでなければなりませんでした。それが、EPYCなら1基のCPUで済む。これが採用の大きな理由でした。第1世代EPYCは、弊社のベンチマークではコア当たりのパフォーマンスが、比較対象の他社製x86ベースのCPUと比べて1、2割低かった。それでもラックの電力制限のことを考えると、それよりも1ソケットでコア数が多いことの方がメリットとしては大きかった」（的場氏）

　データセンターのラックで給電される電力量には上限がある。新しいデータセンターほど供給電力量が大きいものの、サーバも高性能化して消費電力量が増えているので、この問題は常にシステムインフラの設計者、管理者を悩ませている。CPUの数が増えれば消費電力が増えるため、クラウド／VPSサービスでは、CPU当たりのコア数が多いEPYCの方が適しているのだ。結果として、Windows Serverベースのプラットフォームリニューアルでは従来のサーバをAMDの第1世代EPYC「Naples」ベースのサーバに移行することになった。

　EPYCベースのクラウドサービスの利用件数は順調に伸び、サーバ増強が必要になった2019年初め、再びハードウェア選定が始まる頃には、第2世代EPYC（開発コード名「Rome」）がリリースされていた。ベンチマークテストを実施してみると、コア当たりのパフォーマンスが改善されたことが分かったという。一方、CPU当たりのコア数は64という驚異的な数字だ。当然ながら、第2世代EPYCを搭載したサーバを採用した。

　「最初に入れた第1世代『Naples』は、サーバが48台。その後追加して、第2世代『Rome』のサーバも含めるとEPYCサーバは既に300台を超えました。今後も増強によって増えていくことでしょう」（的場氏）

EPYCでラック数が10分の1に、OSライセンスコストも抑えられる

　的場氏によれば、EPYCベースのサーバには大きく5つのメリットがある。

1　パフォーマンスと安定性
　「AMDでは性能が心配」という意見がまだあるかもしれないが、的場氏のチームが実施したベンチマークテストの結果では、特に第2世代EPYC「Rome」の場合、その心配は全くないことが分かったという。

2　集積率が上がり、省スペース
　CPU当たりのコア数が多いため、小さなスペースで大量のコアを提供できる。古いサーバを「Rome」ベースのサーバに移行したことで、約10分の1に省スペース化できた。「元が古いサーバだったこともありますが、20ラックを2ラックに集約できました」（的場氏）。これでかなりのコスト削減が実現したという。

3　OSライセンス料の抑制
　サーバの台数が10分の1になることで、商用OSのライセンス料も10分の1になった。今回のEPYC採用基盤ではWindows Serverを使用しているが、サービスプロバイダー向けライセンスでかなりのコストが削減できたという。

4　運用負荷の軽減
　1ソケットで多コアを実現できる第2世代EPYCの「Rome」では、ラック当たりの消費電力を心配しなければならない場面が大幅に減った。もちろん今までも平均値でラックのアラート供給上限を超えないように電力計算に基づいた設計をしている。だが、従来の2ソケットのサーバでは突発的な負荷が増えたことによる電力アラートがどうしても増えてしまい、対応で気が休まらない場面が度々あった。「Rome」なら「1ラックに高密度なサーバ台数を実現できる上、突発的な負荷で電力を使い過ぎたというアラートもなく運用できていることが非常に素晴らしく助かっている」と的場氏は言う。

5　ちょっとしたお得感
　的場氏は「本番環境では使っていませんが、AMDにも『Turbo Boost』の機能があります。負荷が高い状態が続いてもターボがかかった状態を維持できる時間が長く、ベースクロックよりもよいパフォーマンスが出せることが、検証で分かっています」と言う。これは、あくまでGMOインターネットでの検証結果であってAMDが保証しているわけではないのだが、他のユーザー企業でも同様の感想はあり、「得した気分」と言われているそうだ。

　一方で、注意すべき点もあるという。

　「Windows Serverで起きる現象として、『Rome』でコア数とスレッド数が増えたことにより、OSがコアとスレッドの配置を正常に認識しないということがありました。64スレッドを超えないと発生しない上に、OS自体が正常に動かなくなるわけではないのですぐには気付きませんでした。『Hyper-V』環境で使う場合は対策としてBIOSレベルでNUMA（Non-Uniform Memory Access）のチューニングをする必要があります。日本AMDによる情報とサポートで、この問題は対応できています」（的場氏）

　要は、第2世代EPYC「Rome」はWindows Serverの仕様を超えるコア数／スレッド数になってしまったため、「Hyper-V」環境でメリットを完全に享受するには、BIOSレベルのNUMAチューニングが必要ということのようだ。AMDでは、このような事態に備えてチューニングガイドを提供するなど、ユーザー企業にとって使いやすい環境を構築するためのさまざまなドキュメントを用意している。ただ、この件について日本語化したドキュメントはまだWebサイトなどで公開されていないため、テクニカルドキュメント、ホワイトペーパーの英語版サイトをここに紹介しておく。

［英語版サイト］

GMOインターネット全体として、サーバCPUの選択肢が増えた

　的場氏は「『PCIe Gen4』をはじめとした高速なI/O規格など、AMDは新機能に素早く対応するので、NVMe（NVM Express）やGPUなどの採用計画も立てやすい」と評価する。的場氏の部署ではOpenStackベースのクラウドサービスも提供している。「今回はWindows Serverで、Linuxベースの基盤に関してはまだ検討していませんが、そこへのチャレンジも、いずれは進めていきたい」という。

　EPYCの第1世代、第2世代を検証したベンチマーク結果は他部署にも共有しており、GMOインターネットの他のサービスでも、ハードウェア選定の際には今後EPYCが選択肢に挙がるのではないかと、的場氏は言う。VPSサービスの場合はコア数の優先度が高いが、法人向けサービスなどで1コア当たりのパフォーマンスが重視される場合もある。その際にも、第2世代の「Rome」なら十分要求に応えられるし、PCIe Gen4対応によるI/O高速化のメリットが効果を発揮するだろう。

　「以前と比べて、GMOインターネット全体でサーバCPUの選択肢が増え、自由度が大きく高まったと考えています」と的場氏は話している。