MetaやBlue Originが採用する分散並列ファイルシステム「Hammerspace」とは：Lustre推進のロスアラモス研究所も

Hammerspace社が日本市場での事業を本格化している。その製品はデータからメタデータを分離・集約し、管理する。これにより分散データの統合アクセスを実現するとともに、ボトルネックを回避してパフォーマンスを向上する。

[三木泉，＠IT]

印刷

見るPost

Shareシェア

はてなブックマーク

SharePocket Button

　分散並列ファイルシステムの米Hammerspace社が日本に進出した。コアマイクロシステムズやエヌジーシーと販売契約を結び、日立ヴァンタラと提携している。今後、日本拠点のスタッフを増員するという。

　Hammerspace社は、Fusion-ioで知られたデビッド・フリン（Davd Flynn）氏が共同で創立し、CEO（最高執行責任者）を務める企業。その製品「Hammerspace Global Data Platform」（以下、Hammerspace）では、さまざまなクラウド／拠点に分散するファイルデータを統合管理し、移動することなく、どこからでもアクセスできる。また、HPCやAI（人工知能）のデータセンターにおける高速な並列ファイルシステムとしての顔も持つ。

　顧客には、ソーシャルメディア企業Metaや、航空宇宙企業のBlue Origin、Lustreを活用してきた米ロスアラモス国立研究所、アニメーション／VFXのJellyfish Picturesなどが名を連ねている。

　Hammerspaceの中核は、非構造化データへのアクセスを統合するメタデータサーバソフトウェア。多様なストレージに分散するファイル群のメタデータを集約する。NFS、SMB、Amazon S3といったプロトコルでアクセスできるNAS（Network Attached Storage）やファイルサーバ、オブジェクトストレージをカバー。クラウド、オンプレミス、エッジに分散したデータを、単一のネームスペースで管理する。

続きを読む

　データがマルチクラウドに分散していても、ユーザーは場所を意識することなく、あたかも1つのストレージであるかのようにアクセスできる。「ストレージ仮想化」「スケールアウトNAS」などといった名前で似たようなことを行う製品はあるが、Hammerspaceではデータ経路にインラインでヘッド装置やキャッシュを置く必要はない。また、既存のITインフラへの変更は不要だ。

　Hammerspaceのソフトウェアは仮想マシン、あるいはベアメタルサーバにインストールできる。クラウドやオンプレミスなど、どこで動かしてもいい。

　「クラウドの普及に伴い、データのサイロ化は大きな問題になっている。特に最近では、複数の場所に散在するデータを使って生成AI（人工知能）に取り組む企業が増えている。分散するデータを統合できるプラットフォームが必要だ」と、Hammerspace社マネージングディレクター、モリー・プレスリー氏は話す。

　単一データセンター内でも、Hammerspaceの仕組みはパフォーマンス向上というメリットをもたらすという。その理由を次のように説明する。

　「メタデータ管理をストレージから切り離しているため、データ経路にオーバーヘッドをもたらすものは存在しない。従って、ストレージからサーバのCPUに至るまでのホップ数は少ない。また、並列的な転送ができる。このため、生成AIモデルのトレーニングなどのための大規模なデータフィードを高速化できる」（プレスリー氏、以下同）

　ストレージをはじめとした既存のインフラをそのまま活用しながら、こうしたメリットを得られるのがポイントだという。

MetaやJellyfish Pictures、ロスアラモス国立研究所はどう使っているのか

　プレスリー氏によると、Meta、Jellyfish Pictures、ロスアラモス国立研究所の採用理由は次の通り。

　Metaは、Llama2やLlama3といったLLM（大規模言語モデル）のトレーニングで、Hammerspaceを採用したという。目的はデータフィードの高速化。約1000台のストレージノードから、2万4000基のGPUを搭載した3000台のGPUサーバに対して直接データを送り込む構成で、12.5 TB/秒のスループットを達成できたという。

　「要件は2つ。膨大な数のGPUを活用できるスループットを実現することと、既存のストレージサーバやGPUサーバ、ネットワークに全く変更を加えることなく使えることだった」

　この2つの条件を満たせたのはHammerspaceだけだったとプレスリー氏は話した。

　アニメーション／VFXのJellyfishは、世界各地にいるアーティストが同一のビデオファイルに対して共同作業を行えるようにするため、Hammerspaceを導入したという。

　「Jellyfishはロンドンに自社のデータセンターを持っているが、他の拠点ではパブリッククラウドを使っている。（Hammerspaceを使うことで、）データを自社データセンターに移動する必要はなくなった。作成した場所に配置したままで、世界中からアクセスできる」

　ロスアラモス国立研究所はこれまでLustreファイルシステムを推進し、同所のスーパーコンピューティング環境で大規模に展開してきた。だが、生成AIへの取り組みを拡大する過程でHammerspaceを採用したという。

　「スーパーコンピューティング環境でもAIの活用が拡大している。LustreはHPC（High Performance Computing）には適しているが、その複雑さのためAIワークロードにうまく対応できない。このためHammerspaceを選んでいる」