Greenplum HD EEを国内販売開始

基幹バッチへのHadoop適用を進めるEMCの戦略

2012/01/26

　EMCジャパンが1月19日に国内販売を開始した「Greenplum HD Enterprise Edition（EE）」とは、Apache Hadoopの一部を書き直すことで信頼性と速度を向上したMapReduce製品だ。米ベンチャーのMap R Technologiesによる製品のOEMで、EMCは同社のGreenplum製品群の一部として取り込み、販売パートナーと協力してサポートを提供している。Webサービス、ビッグデータ解析に加え、企業の基幹系バッチ処理におけるMap Reduceの活用を意図している。

　この製品ではまず信頼性向上のための工夫が施されている。2011年9月に国内で同製品を説明した米MapRのチーフアプリケーションアーキテクト、テッド・ダニング（Ted Dunning）氏によると、「すべてのコンポーネントが冗長化され、いつでも再起動できる。スナップショットでどの時点からもリカバリすることができる」。Greenplum HDでは、ネームノード（ファイルシステムのメタ情報管理）がすべてのデータ処理ノードに分散配置される。また、MapReduceのマスタサーバであるJobTrackerも冗長化されている。スナップショットでは差分データをファイルシステム上で維持することにより、データコピーなどの必要なしに復旧が可能。

冗長化で信頼性、耐障害性を向上

　高速性に関しては、ファイルシステムをC／C++で書き直すことにより、Javaのオーバーヘッドと、ガベージコレクションの影響を排除したという。また、ファイルシステム自体が圧縮機能を備えているため、アプリケーションから意識することなくストレージ消費量を減らすことができると同時に、I/O性能を向上できる。また、ロック競合、アプリケーションスレッド競合を排除することで、並列処理性能を向上しているという。

処理速度向上のためのさまざまな工夫

　EMCでは、上記のような信頼性、高速性機能は、必要なサーバ機の台数を減らすことにも寄与、コスト低減効果があるとしている。

　さらに、Greenplum HD EEではファイルシステムをNFSで読み書きできる。このため、例えばWebサーバのログデータを直接NFSで書き込んでそのままHadoop処理するなど、使い勝手が増すという。

Asakusa Frameworkとのタッグで基幹バッチ処理対応へ

　前述のとおり、Greenplum HD EEの適用領域はWebサービス、ビックデータ解析、企業の基幹系バッチ処理の3つ。EMCジャパンは基幹バッチ処理への適用に関し、Hadoopを基幹バッチ処理に適用するためのオープンソース・フレームワーク「Asakusa Framework」の開発にかかわってきたノーチラス・テクノロジーズと協業、両社の製品を組み合わせた「Enterprise Hadoop」開発運用ソリューションを共同で提供していくと発表している。

　ノーチラスによると、従来のHadoopは基幹バッチの高速化に大きく貢献できるが、ハードルも高い。基幹バッチ処理ではデータの種類が多く、データフローが複雑というのがその理由。また、従来のHadoopでは基幹システムとの透過的な接続が行える仕組みがないのが欠点という。