なお、Hadoopでは処理結果をReduceするプロセスが性能面でボトルネックとなるケースが少なくない。Oracle Big Data Applianceの場合、高速バスとしてInfiniBandを搭載しているのに加えて、Reduceタスク間のデータ処理量の偏りを平準化し、全体の処理時間を短縮する独自のソフトウェア機構「Perfect Balance」が組み込まれている。これにより、同等スペックの他社製ハードウェアと比べて、Hadoopの処理をより高速に実行することが可能となっている。
また、Oracle Big Data Applianceには、もう一つ特筆すべきことがある。それは、Oracle Big Data Appliance上のデータも高度なセキュリティ機能によって守られるということだ。
「Hadoopで扱うデータには、取り扱いに注意を要する情報が含まれる場合が少なくありません。その機密性が高いレベルで保たれることの意義は極めて大きいといえるでしょう」(大橋氏)
さらに、Oracle Big Data Applianceには、大量データの処理に最適化されたキー/バリュー型データベース「Oracle NoSQL Database」が組み込まれている他、ビッグデータの「体系化」を支援するソフトウェア群「Oracle Big Data Connectors」も用意されている。
Oracle Big Data Connectorsは、HadoopとOracle Databaseのスムーズな連携を実現するソフトウェア群だ。これらを用いることで、企業がこれまで利用してきたOracle DatabaseとHadoop上のデータを高速かつシームレスに連携させることが可能となる。
「例えば、『Oracle Loader for Hadoop』は、Hadoop環境からOracle Databaseへのデータローディングを15TB/秒で実行する高速データローダーです。これを使うことで、大量のHadoopデータを短時間でOracle Databaseに取り込み、構造化データとして操作できるようになります」(大橋氏)
用途 | ソフトウェア | 説明 |
---|---|---|
Oracle Databaseとの連携 | Oracle Loader for Hadoop | Hadoop環境からOracle Databaseへ高速にデータをロードするためのユーティリティ |
Oracle SQL Connector for Hadoop Distributed File System | Oracle DatabaseからHDFS上のデータに外部表としてSQLでアクセスするためのツール | |
Oracle Data Integrator Application Adapters for Hadoop | HadoopクラスターからOracle Databaseへのロード処理をGUIで定義/実行するためのツール | |
Hadoop上でのデータ処理 | Oracle XQuery for Hadoop | XQueryを自動MapReduceに変換して実行するコンポーネント。XMLの他、CSVやJSONなどのデータフォーマットに対応 |
Hadoop上でのデータマイニング、R言語の利用 | Oracle R Advanced Analytics for Hadoop | HDFS上のデータに対してR言語による処理を可能にするコンポーネント |
Copyright © ITmedia, Inc. All Rights Reserved.
提供:日本オラクル株式会社
アイティメディア営業企画/制作:@IT 編集部/掲載内容有効期限:2014年8月27日
驚異的なパフォーマンス、優れた運用効率、最高の可用性とセキュリティ、クラウド対応を実現するOracle Exadataとの統合、クラウド、可用性や運用管理など、次世代データベース基盤構築のために参考になる必見資料をまとめてご紹介いたします。