Hadoop／HBaseの内部動作を可視化するソフトウェア「halook」をOSSで公開：過去の負荷動向も検証可能

Hadoop内部の負荷状況などをグラフィカルに表示するOSSツールが登場。Javaプログラム解析ツールを流用し、HTML5などを駆使して内部の挙動を可視化する

» 2012年11月12日 17時25分公開

[原田美穂，＠IT]

　Acroquest Technologyは、2012年11月9日、Hadoop／HBaseの内部動作を可視化するソフトウェア「halook」をオープンソースソフトウェアとして公開した。CDH 3u4、3u5で動作確認済み。

　Hadoopは分散処理を行うため、多数のノードを連携して動作する。データの処理が多数のノード、多数のプロセスで実行されるため、処理中に問題が発生した際の調査が非常に困難とされる。halookは、Hadoopシステムにおける障害や稼働状況そのものの可視化を実現している。可視化の対象は、並列処理タスク、Region、データノード。

　HDFSのクラスタノード「DataNode」のデータの偏りを可視化する「HDFS DataDistributionView」は、現時点の状態だけでなく、過去の利用状況もさかのぼって確認できる。

HDFS DataDistributionView

　タスクの並列処理を担う「TaskTracker」の状態を可視化する「MapReduce TaskChartView」は、タスクの並列性や、TaskTracker間の負荷分散度合いを可視化する。

MapReduce TaskChartView

　「Base RegionDistributionView」はHBaseのRegionServer間のRegionの偏りを可視化する。Regionの偏りも過去にさかのぼって確認できるので、RegionServerの負荷分散状況やRegion分割の妥当性を確認できる。

Base RegionDistributionView

　可視化は、同社が開発したJavaの内部動作を可視化するソフトウェア「ENdoSnipe」をベースにしているという。ENdoSnipe自体は、Javaプログラムのパフォーマンスや品質問題の原因を検出することを目的としたソフトウェアだ。同製品の可視化技術をHadoopに適用した。Web UIにおける表現は同様に同社が開発したOSSのWeb UIプラットフォームであるWGPを採用している。