ニュース

2021年3月30日

「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsが2021年版のレポートを公開：三大クラウドの処理性能はどう違う？

Cockroach Labsは、Amazon Web ServicesとMicrosoft Azure、Google Cloud Platformの処理性能を比較した年次レポートの最新版を公開した。3つの主要クラウドの処理性能がかなり異なることが分かった。

[ITmedia] PC用表示関連情報

LINE

Hatena

　Cockroach Labsは主要クラウドサービスの処理性能を比較した年次レポートの最新版「2021 Cloud Report」を公開した。

　ベンチマークの対象となったのは、「Amazon Web Services」（AWS）と「Microsoft Azure」（Azure）、「Google Cloud Platform」（GCP）。

　3年目となる今回のレポートは過去のレポートと比較して、より精度が高いという。これまではミッションクリティカルなOLTP（オンライントランザクション処理）アプリケーションを評価していたが、今回から現実的で普遍的なパフォーマンスを評価しているからだ。

　今回は54種類のマシンタイプを評価し、約1000回のベンチマークを実施して12種類の調査にまとめた。

　実施したベンチマークテストのフレームワークは4つある。CPUパフォーマンス評価（CoreMark）とネットワーク性能評価（Netperf）、ストレージI/Oパフォーマンス評価（FIO）、OLTPパフォーマンス評価（Cockroach Labs Derivative of TPC-C）だ。

スループットではGCPがトップ

　スループットベンチマークのうち、ネットワークスループット、ストレージI/Oリードスループット、ストレージI/Oライトスループット、最大tpmスループット（Cockroach Labs Derivative of TPC-Cで定義された1分当たりのスループットの指標）という4つのベンチマークの全てにおいて、GCPは最も高いスループットを達成した。

　GCPはデリバティブTPC-Cベンチマークにおいても、最も優れたロースループット（tpm）を達成した。これはCockroach Labsが実施したベンチマークでは初の快挙だ。このベンチマークは小売業やeコマース企業のトランザクションスループットをシミュレートしたものだ。

OLTP TPC-CベンチマークではGCPの性能が最も高かった（出典：Cockroach Labs）

　GCPは3年連続で「ネットワークスループット」ベンチマークで首位となり、AWSやAzureの約3倍のスループットを実現した。特筆すべきは、GCPのネットワークスループットのパフォーマンスが最も低いマシンタイプであっても、AWSとAzureのパフォーマンスが最も高いマシンタイプを上回ったことだ。

GCPのネットワークスループットはAWSやAzureの約3倍だった（出典：Cockroach Labs）

CPUの性能競争が過熱、IntelかAMDかそれともAWS Graviton2プロセッサか

　CPU性能の評価には、CoreMarkバージョン1.0ベンチマークテストを用いた。CoreMarkはオープンソースで、クラウドの種類に依存せず、リストのソートや検索など、さまざまな実世界のワークロードを反映したテストを実行する。今回はシングルコアの場合と16コアの場合のそれぞれで、1秒当たりの平均反復回数をまとめた。

　シングルコアでは、3位までの全てがIntelのCPUを搭載しており、Intelが圧勝した。しかし、16コアのベンチマークでは、IntelのCPUを搭載したマシンタイプは1つもなかった。64bitのArmアーキテクチャを採用したAWSのカスタムメイドの「Graviton2プロセッサ」が、AMDのCPUを搭載したGCPとAzureの最も高速なマシンタイプを上回った。

GCP、AWS、AzureにおけるIntel、AMD、Graviton2のCPU性能（出典：Cockroach Labs）

ネットワークレイテンシではAWSが最も優れる

　AWSは3年連続でネットワークレイテンシにおいて最高の性能を示した。

　トップパフォーマンスのマシンタイプの99パーセンタイル（最高位から99％までの構成）のネットワークレイテンシは、Azureと比較して28％、GCPと比べて37％少なく高性能だった。ただし、性能に影響を及ぼす配置ポリシーには注意が必要だ。インスタンス間の物理的な距離がランダムになる可能性があり、それがネットワークレイテンシに影響するからだ。

GCP、AWS、AzureにおけるIntel、AMD、Graviton2のCPU性能（出典：Cockroach Labs）

高価な「アドバンストディスク」には利用価値があった

　それぞれのクラウドは、より高いパフォーマンスを必要とするアプリケーションやワークロードのために、Cockroach Labsが「アドバンストディスク」と呼ぶ高価なディスクを提供している。AWSの「io2」やAzureの「Azure Ultra Disk」、GCPの「Extreme PD」などだ。

　テストの結果、Azure Ultra Diskには費用を支払う価値があると分かった。なぜなら、Azureが1位を獲得した全てのマシンタイプで採用されていたからだ。ベンチマークの多くで、Azure Ultra Diskを搭載したマシンタイプは、見積価格の上昇分に相当するか、それ以上のパフォーマンスの向上を示した。

Azure Ultra Diskはストレージ性能を計測するIOPSベンチマークでAWSとGCPを上回った（出典：Cockroach Labs）

　AWSのio2ディスクは、レイテンシの低さが際立った。全体的に見て、io2ディスクを搭載したAWSのマシンタイプは、汎用（はんよう）ディスクを搭載したマシンタイプと比べて平均51％、レイテンシが低かった。アプリケーションやワークロードにとってレイテンシが非常に重要な場合は、io2ディスクがお勧めだという。

AWSのマシンタイプにio2とgp2を選択した場合のストレージの読み出しレイテンシと書き込みレイテンシ（出典：Cockroach Labs）

　GCPの汎用ディスクは、AWSやAzureの高機能ディスクと同等の性能を発揮した。ストレージI/Oの読み書きでトップの性能を持つGCPのマシンタイプ（n2-standard-16 / pd-ssd）は、AzureやAWSのトップ性能のマシンタイプと比較して、読み書きのIOPSがわずかに5％劣るだけだった。なお、テスト時にGCPのExtreme PDディスクを利用できなかったため、GCPの汎用ディスク（PD-SSD）がAzureやAWSのアドバンストディスクに対してどれだけ優位にあるのかは分からなかった。

　OLTPの全体的なパフォーマンスを考えると、高度なディスクは必要ないかもしれない。実際のOLTPワークロードのベンチマークシミュレーションでは、AWS、GCPともに汎用ディスクを搭載した安価なマシンが勝利したからだ。

　TPC-CのCockroach Labs Derivativeは、CPUとメモリを集中的に使用するワークロードでストレージのI/O性能を評価している。だがこのベンチマークでは、io2やAzure Ultra Diskの価値を確かめるのに必要な負荷がストレージのI/Oレベルでかかっていないことが分かった。この結果、メモリとCPUに最適化されたマシンタイプが有利になり、アドバンストディスクを搭載したストレージに最適化されたマシンタイプは十分に評価が高くならなかった。

　OLTPのパフォーマンスを向上させるには、より多くのノード、メモリ、CPUにコストをかけるべきだ。重い読み書きのタスクや、低レイテンシが要求されるクリティカルなワークロードには、高性能ディスクを搭載したマシンが適しているだろう。

AWS、Azure、GCPのOLTP TPC-Cベンチマークの結果（出典：Cockroach Labs）

成績が最も良かったクラウドサービスはどれだ

　同社がレポートを公開する理由は、顧客やOLTPアプリケーションを構築するユーザーに、クラウドごと、個々のマシンタイプごとのパフォーマンスにはトレードオフがあることを理解してもらうことだという。

　ユーザーが利用中の構成は必ずしもコスト効率が良いものではないかもしれない。新しいアプリケーションの構築を検討しているユーザーであれば、どのプロバイダーのネットワーク遅延が最も少ないかを確認したい場合もあるだろう。ストレージが問題になっていて、新しいソリューションを探している場合もあるかもしれない。どのような動機であっても、今回のレポートを参照することで顧客の目標を達成し、特定のニーズに最適なアーキテクチャを開発するのに役立つという。

　今回実施した12種類のベンチマークは次のような結果となった。

12種類のベンチマークテストの結果（出典：Cockroach Labs）

　なお、同社はベンチマークの再現に必要な手順やリソース、スクリプト、設定、手順などを全てオープンソースとして公開している。