一般企業におけるHadoop利用を促進へ

EMCのクラスタNAS、IsilonがHadoopに対応、その意味は

2012/02/29

　EMCジャパンは2月29日、同社のスケールアウトNAS「EMC Isilon」で、Apache Hadoopへの対応を発表した。より具体的には、新ストレージOS「OneFS 6.5」で、HadoopのファイルシステムHDFSを動かせるようになった。

　HDFSは「ファイルシステム」といっても、一般的なファイルシステムではなく、Apache Hadoopにおいて処理対象となるデータの所在を管理するJavaアプリケーションプロセスだ。ネームスペース／メタデータ管理のName Nodeと、Name Nodeの指示を受けてデータの出入力を行うData Nodeで構成されている。Hadoopでは、汎用コンピュータの内蔵ディスクドライブを記憶媒体として用い、これを仮想的に共有する仕組みになっている。複数コンピュータ上のドライブに分散するデータ全体の所在管理をName Nodeが担い、各コンピュータ上ではData Nodeが実際のデータの出入力を行う。

　今回のHDFSサポートは、このName NodeとData Nodeを、Isilonのクラスタを構成する各ストレージノードで動かすことを意味する。クラスタ全体から見ると、物理的には複数のName Nodeが走っているのだが、メタデータ情報はこの間で常に同期しており、Isilonの負荷分散の仕組みにより複数のストレージノードが分散して応答する。障害などで応答できないノードがある場合は正常なノードが代わりに応答する。この分散アクセスとフェイルオーバはIsilonストレージクラスタの内部で行うため、Hadoopにとっては完全に透過的。HadoopのMapReduceプロセスからは、単一のName Nodeを使うことだけを考えればよい。

Hadoopのデータ管理部分をIsilonに移行・統合できる

　この場合、Hadoopで利用するデータは、Isilon NASストレージ上の通常のボリュームに置かれる。従って、Isilonがサポートするストレージアクセスプロトコル（NFS、CIFS、FTP、HTTP）で読み書きが可能だ。IsilonをApache Hadoopのストレージとして使う最大のメリットの1つは、EMCによればこの点にある。

　通常Hadoopでのデータ処理には、アプリケーションのストレージからいったんデータをHadoopに移動する作業が必要だ。また、処理の終わったデータを、アプリケーション側に戻す作業も必要となる。しかし、今回のIsilonによるHDFSサポートによって、アプリケーションのデータを移動することなくそのまま処理し、結果も同じボリュームに戻すことができる。移動の手間がないということは、処理時間を短縮できるということでもある。

　データ保護には、Isilonが備える最大N+4のパリティ機能を使えるため、データの信頼性も向上。通常のHDFSで行っているデータミラーリングによる保護が不要になる。ということは、ディスク利用の「無駄」を防ぐことができ、処理量に応じたHadoopシステムの拡張もやりやすくなる。もともとIsilonは単一ボリュームで広大なファイルストレージボリュームを作り出せることが特徴の製品。特に大きなサイズのデータや、急速に増大するデータを扱うには有利だ。

　上記のフェイルオーバの仕組みを活用することで、Apache Hadoopで問題とされてきたName Nodeが単一障害点になるという問題も、（Apache Hadoopに手を加えることなく）解決できる。さらに、Isilonストレージが提供するスナップショットやNDMPバックアップなどの機能も利用でき、データ保存も柔軟にできるようになるという。

　EMCでは、今後Hadoopの利用が一般の大企業に広がっていくと見ている。こうしたユーザーが、スーパーエンジニアに頼らずにHadoopを使えるようにしていくためには、上記のようなアプリケーションとの連動や信頼性管理が重要になってくるだろうという。

　これまでに述べたHDFS対応は、EMC Isilon製品のOSの新バージョンである「OneFS 6.5」で標準機能として提供される。サポート契約を結んでいるユーザーは、無償でこの新バージョンに移行できる。EMCジャパンでは今年秋にも、HDFSをサポートしたIsilonとGreenplum HDとの連携ソリューションを提供するとしている。Isilonをストレージとして使ったHadoop Applianceが登場することも、十分考えられる。