BlueMixのクラウドデータベースサービス／SQL on Hadoopは普及するか？：Database Watch（2014年8月版）（3/3 ページ）

[加山恵美，＠IT]

SQL処理エンジンBig SQLを強化したIBM BigInsights

　次はIBMのHadoopソリューションについて紹介しておきましょう。

　オープンソースの分散処理のためのフレームワークである「Apache Hadoop」をIBMが独自の技術を加えて製品化したのが「IBM InfoSphere BigInsights（以下、BigInsights）」です。いわば機能強化したIBM版Hadoop。2014年6月27日には最新版となるBigInsights V3.0が出荷を開始しています。この状況を受けて、8月7日、日本IBM ソフトウェア事業 インフォメーション・マネジメント事業部 一志 達也氏（写真）が記者向けに解説しました。

　オープンソースのApach Hadoopは基本的にはHDFSファイルシステムのストレージとMapReduceを組み合わせた構成です。これと比べるとBigInsightsはストレージ部分にはHDFSだけではなくIBM独自の分散ファイルシステムである「GPFS-FPO」が使用できます。

　また、MapReduce処理では「Adaptive MapReduce」という独自技術を加え、さらにHadoopにSQLでアクセスできる「Big SQL」、R言語の「Big R」、表計算シート「BigSheets」などの機能も加えています。

　このうち、Adaptive MapReduceではJavaで書かれているOSSのApache HadoopのMapReduceを、より高速な処理が期待できるC言語で書き直して最適化したものです。

　BigInsightsの最新版であるV3.0の特徴の1つが、Big SQLの機能拡張です。6月版で紹介したPivotal HD 2.0のHAWQと同様の「SQL on Hadoop」技術です。背景にはMapReduceでは、Javaのプログラミングスキルが必要なため、DBAな方々にはハードルが高い、一方で、Hadoop Hive（関連記事）では性能が物足りないといった課題がありました。

　そこでHadoopでSQLが処理できる独自エンジンを開発したのがPivotalのHAWQであり、BigInsightsのBig SQLとなるわけです。

　一志氏は「Big SQLは単なる高速化した、機能を豊富にしたHiveではありません」と断じています。BigInsights V3.0のBig SQLはSQL 2011に準拠し、PL/SQLと互換性があるなど、SQL標準への対応にはかなり力を入れています。

　一志氏によると、「Big SQLの標準SQLへの対応状況は、RDBMSのベンチマークテストで使われるTPC-Hもそのまま動作させられるほど」だといいます。このSQL互換性によりCognosやSPSSのデータを合わせて集計結果を出せたり、DB2やOracle Databaseと連携させたりすることなども可能となるそうです。

　Big SQLは内部的にはHadoopに合わせたクエリの書き換えや実行計画の最適化を実施しています。「言うはやすし」ですが、すごいことだと思います。もともとSQLはRDBのデータ構造を想定した言語です。HadoopやHDFSはRDBと構造が異なるのですから、クエリの書き換えというのはそう簡単ではないのではないかと想像しています。「どうしてHadoopにSQLで問い合わせができちゃうの？」と不思議でなりません。

　そこはIBMが持つRDBMS技術の奥深さなのかもしれません。一志氏によると、HDFSはRDBMSと異なるとはいえ、RDBMSのカタログに相当するものがあり、そこからRDB的にアクセスできるのだそうです。IBMはBig SQL開発に多くのDB2開発者を投入することで、高度なSQL処理を実現しました。

　実際にBig SQLのSQL処理エンジンはDB2エンジンそのものといっていいほどDB2に近いのだとか。6月号を振り返ると、Pivotalの「HAWQ」も自社のRDBMS技術ノウハウが生かされているとのことでした。SQL処理エンジンを開発するにはデータベース開発技術が強みになるのですね。

　なおBigInsightsはエンタープライズでの利用を想定しているため、各種認証形態をサポートしていたり、権限やロールなどのセキュリティ、監査履歴などは「普通のデータベース製品並み」にそろえていたりします。また将来的にはMapReduce部分は近年注目されているSparkやYARNも取り込むように検討を進めているそうです。