Hadoop用リアルタイムクエリエンジン ImpalaのポテンシャルをレビューしたDatabaseテクノロジレポート(2/4 ページ)

» 2012年12月07日 16時25分 公開
[須田幸憲/セラン, 柏崎輝/ディレクターズ,@IT]

Hadoop MapReduce、Hiveとの関係

 Impalaは、Hadoop MapReduce*3やHive*4を完全に置き換えるためのものではありません。Hadoop MapReduceとHiveの組み合わせは、既に多くのシステムで安定的に運用されており、特に現時点では大規模なバッチ処理やELT処理(抽出/ロード/変換)にはMapReduceの方が適しているといえます。

 Impalaはメモリを可能な限り活用するため、性能を最大限に引き出すためには、処理の対象となるデータ量に対して十分なメモリ空間を必要とします。

 一方、MapReduceはMap処理とReduce処理の間でいったんディスクに書き込みを行うため、Impalaと比べて少ないメモリ空間でも性能劣化なく処理できます。つまり、Impalaはデータ量の増大による性能劣化を許容しつつ、処理の高速化を追求していると筆者はとらえています。

 また、Hiveがインストールおよび設定されていなければ動作しないことからも想像できる通り、両者を補完的に利用することが前提となっているといえます。


Impalaのメリット:アクセスログ解析の視点から

 筆者らは、MOBYLOG(モビログ)というアクセスログの解析、および広告効果測定のサービスを提供しています。収集したWebサイトのアクセスログの解析処理には、現在、Hadoop MapReduceとHiveを利用しています。

 具体的な処理の代表例としては、大量のアクセスログから同一ユーザーのセッションを抽出するようなクエリを多数実行してするケースが挙げられます。

 しかし、Hadoop MapReduce処理は開始・終了処理のオーバーヘッドが大きいせいか、予算の許す限り多くのサーバでHadoopクラスタを構築していても、ログのファイルサイズによっては所定の時間内に処理を終わらせられないことがあります。そこで、同じサーバ台数で、より高速に処理できる仕組みを模索していたのです。

 Impalaは、Hadoop MapReduceとHiveを組み合わせたクエリ処理と比べて、7〜45倍の性能向上が検証で確認されています*5

 この検証が事実であれば、例えば統計解析手法を駆使してデータ分析を行うデータサイエンティストがアドホックなクエリの実行する際に、Hiveの代わりにImpalaを利用することで、処理時間を短縮でき、業務効率の大幅な向上が期待できます。

 そこで、筆者らは自社のサーバ環境にHadoop MapReduceとHive、およびImpalaのクラスタ環境を構築し、Hadoop MapRreduce+HiveとImpalaの性能をベンチマークしました。

 Impalaをテストするには、Red Hat Enterprise LinuxまたはCentOS 6.2(64ビット版)上のCDH(4.1.0以降)と、Hive、MySQLが導入されている必要があります。CDHのドキュメントなどはClouderaのWebサイトを参照ください(Impalaのチュートリアルはこちらを参照してください)。

 次ページからベンチマークの詳細、結果を紹介していきます。


Copyright © ITmedia, Inc. All Rights Reserved.

スポンサーからのお知らせPR

注目のテーマ

AI for エンジニアリング
「サプライチェーン攻撃」対策
1P情シスのための脆弱性管理/対策の現実解
OSSのサプライチェーン管理、取るべきアクションとは
Microsoft & Windows最前線2024
システム開発ノウハウ 【発注ナビ】PR
あなたにおすすめの記事PR

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。