「AIが遅い原因はGPUではない」 AIインフラの性能を決める“データの流れ”：第2章（2）ジョブスケーラーと分散ストレージの最適化（1/2 ページ）

GPUを増やしても、AIの処理が高速になるとは限りません。ジョブの実行順序やデータ配置が適切でなければ、GPUは待機状態となり、性能を十分に引き出せなくなります。本稿では、「AIを止めない」ための技術として、ジョブスケーラーと分散ストレージの役割、そしてAIインフラに求められる設計の考え方を解説します。

[松浦淳（トゥモロー・ネット）, 編集：遠藤文康，＠IT]

　GPUやストレージといったハードウェアを整備するだけではAIの性能を十分には引き出せず、ミドルウェア設計が重要になる――ということを前回では解説しました。AIインフラでは、「高性能なリソースを持つこと」ではなく、「それらを効率的に動かし続けること」が重要です。

　本稿では、その中核となる「ジョブスケーラー」と「分散ストレージ」に焦点を当て、AIインフラの運用を支える設計について解説します。

AIが止まる本当の原因は「計算」ではなく「データ」

　AIの処理というと、GPUによる高速な演算に注目が集まりがちです。しかし実際の運用現場では、処理のボトルネックは計算そのものではなく、「データの流れ」にあるケースが少なくありません。

　例えば、GPUは高い計算能力を持っていても、学習データの読み込みが追い付かなければ演算を開始できず、結果としてアイドル状態になります。データ前処理や転送の遅延が発生すると、ジョブ全体の処理時間が引き延ばされ、GPUの稼働率は大きく低下します。

　トゥモロー・ネットがIT部門の担当者などAIインフラの導入・運用に関わる1000人以上を対象に実施した調査でも、そうした課題感が浮き彫りになりました。AIインフラのリソース効率について過半数の企業（53.0％）が満足していないと回答。その背景にはI/O（データの入出力）などデータ処理のボトルネックが存在していると考えられます。AIインフラにおいて重要なのは、「計算を速くすること」ではなく、「データを止めないこと」です。

　実際の運用現場では、こうしたデータフローの問題はより具体的な形で現れます。例えば、学習ジョブの開始時に大量のデータ読み込みが集中し、ストレージI/Oが飽和することで、GPUが一斉に待機状態になるケースがあります。前処理と学習処理が同一基盤上で実行されている場合、データ変換や圧縮処理がボトルネックとなり、本来は並列に進むはずの処理が直列化されてしまうこともあります。

ジョブスケーラーがGPUの稼働率を決める

　AI運用において、GPUリソースの効率を左右する重要な役割を担うのがジョブスケーラーです。ジョブスケーラーは、複数のユーザーやアプリケーションから投入される処理（ジョブ）を管理し、どのタイミングで、どのGPUに割り当てるかを制御します。この仕組みが適切に機能していない場合、GPUに空きがあるにもかかわらず、ジョブが実行待ちになるといった非効率が発生します。

　従来のHPC（高性能計算）環境では、ジョブはキューに投入され、順番に処理されるバッチ型の運用が一般的でした。この方式は公平性や再現性に優れる一方で、AIのように多様な処理が混在する環境では柔軟性に欠ける側面があります。

　こうしたスケジューリングの最適化においては、単にリソースの空き状況を見るだけでは不十分です。ジョブごとの特性、例えば「処理時間の長さ」「必要なGPUメモリ容量」「I/O負荷の大きさ」などを考慮しながら、適切にリソースを割り当てる必要があります。実際の運用では、学習ジョブと推論ジョブを別キューで管理したり、優先度ポリシーを設定したりしながら、コンテオーケストレーター「Kubernetes」やジョブスケジューラー「Slurm」などを活用して、クラスタ全体のGPUリソースを効率的に割り当てる運用が広がっています。

GPUを遊ばせないAIインフラ運用

　日米のアプローチの違いを踏まえると、AIインフラの運用においては、GPUリソースの効率的な共有とワークフローの自動化が、安定性を左右する重要な要素となります。

　米国では、Kubernetesなどを前提とした運用により、GPUリソースはクラスタ全体でプールされ、ワークロードに応じて動的に割り当てられています。これにより、短時間の推論処理や検証ジョブであっても即座に実行されやすく、GPUの遊休時間を最小限に抑えることが可能になります。ジョブの投入から実行、終了までの一連の流れが自動化されているため、処理の偏りや滞留が発生しにくく、全体のスループットが安定します。

　一方、日本では、HPC型の運用や個別最適なリソース割り当てが残っているケースも多く、GPUが空いているにもかかわらずジョブが待機する、あるいは特定の処理に負荷が集中するといった非効率が発生しやすい状況にあります。また、ワークフローの多くが手動運用に依存している場合、ジョブ投入のタイミングや優先度制御が属人的になり、結果として処理のばらつきや遅延を招く要因となります。

　このように、GPUシェアリングそのものは単なるリソース活用の手法にとどまらず、ワークフロー管理やスケジューリングの自動化と組み合わせることで、はじめて運用の安定性を支える仕組みとして機能します。リソースを「どう分けるか」だけでなく、「どう流すか」を含めて設計することが、AIを止めない運用の鍵となります。