ニュース
NVIDIA、生成AI向けGPU「H200」を2024年に提供開始へ:高速、大容量をうたう「HBM3e」メモリを搭載
NVIDIAは、生成AIなどのハイパフォーマンスワークロード向けGPU「NVIDIA HGX H200」を発表した。
NVIDIAは2023年11月13日(米国時間)、生成AI(人工知能)をはじめとするハイパフォーマンスワークロード向けGPU「NVIDIA HGX H200」を発表した。
NVIDIA H200は、高速で大容量をうたう「HBM3e」メモリを搭載したNVIDIA Hopperアーキテクチャに基づくGPUだ。前世代の「NVIDIA A100」と比較して容量は約2倍(141GB)であり、帯域幅は2.4倍(4.8TB/s)のパフォーマンスを実現しているという。700億パラメータのLLM(大規模言語モデル)であるLlama 2の推論速度では、H100と比較してほぼ倍になるなど、さらなる性能向上が実現できたとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
- AWSとNVIDIA、生成系AI分野で協業 NVIDIA H100 GPUを搭載した「EC2 P5インスタンス」を発表
AWSとNVIDIAは、AIインフラ分野での協業を発表した。NVIDIA H100 GPUを搭載した「EC2 P5インスタンス」の提供を始めとするさまざまな取り組みを通じて、大規模言語モデルの学習や生成系AIアプリケーションの開発に最適化した、拡張性の高いAIインフラの提供を目指すとしている。 - AWS、「Amazon EC2 Capacity Blocks for ML」を提供開始、機械学習に必要なGPUを短期間利用可能に
AWSは、「Amazon Elastic Compute Cloud」(Amazon EC2)の新しい利用モデルである「Amazon EC2 Capacity Blocks for ML」の一般提供を開始した。 - 第227回 買収したMellanoxはNVIDIAが狙う次の市場への布石?
グラフィックスカードベンダーの最大手NVIDIAが、高速イーサネット技術を持つMellanox Technologiesを買収した。この背景には何があるのか、NVIDIAの狙いを筆者が推測する。