NVIDIA、生成AI向けGPU「H200」を2024年に提供開始へ：高速、大容量をうたう「HBM3e」メモリを搭載

NVIDIAは、生成AIなどのハイパフォーマンスワークロード向けGPU「NVIDIA HGX H200」を発表した。

» 2023年11月29日 11時00分公開

[＠IT]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　NVIDIAは2023年11月13日（米国時間）、生成AI（人工知能）をはじめとするハイパフォーマンスワークロード向けGPU「NVIDIA HGX H200」を発表した。

　NVIDIA H200は、高速で大容量をうたう「HBM3e」メモリを搭載したNVIDIA Hopperアーキテクチャに基づくGPUだ。前世代の「NVIDIA A100」と比較して容量は約2倍（141GB）であり、帯域幅は2.4倍（4.8TB/s）のパフォーマンスを実現しているという。700億パラメータのLLM（大規模言語モデル）であるLlama 2の推論速度では、H100と比較してほぼ倍になるなど、さらなる性能向上が実現できたとしている。

#CmsMembersControl .CmsMembersControlIn {width:100%;background:url(https://image.itmedia.co.jp/images/spacer.gif) #DDD;opacity:0.05;filter:progid:DXImageTransform.Microsoft.Alpha(Enabled=1,Style=0,Opacity=5);z-index:1;}

続きを閲覧するには、ブラウザの JavaScript の設定を有効にする必要があります。

AWSとNVIDIA、生成系AI分野で協業　NVIDIA H100 GPUを搭載した「EC2 P5インスタンス」を発表
AWSとNVIDIAは、AIインフラ分野での協業を発表した。NVIDIA H100 GPUを搭載した「EC2 P5インスタンス」の提供を始めとするさまざまな取り組みを通じて、大規模言語モデルの学習や生成系AIアプリケーションの開発に最適化した、拡張性の高いAIインフラの提供を目指すとしている。
AWS、「Amazon EC2 Capacity Blocks for ML」を提供開始、機械学習に必要なGPUを短期間利用可能に
AWSは、「Amazon Elastic Compute Cloud」（Amazon EC2）の新しい利用モデルである「Amazon EC2 Capacity Blocks for ML」の一般提供を開始した。
第227回買収したMellanoxはNVIDIAが狙う次の市場への布石？
グラフィックスカードベンダーの最大手NVIDIAが、高速イーサネット技術を持つMellanox Technologiesを買収した。この背景には何があるのか、NVIDIAの狙いを筆者が推測する。