「Hadoop×Azure」はビッグデータ活用の“新たな扉”を開くか：日立ソリューションズ、Cloudera、マイクロソフトがクラウドで協業

Hadoopを活用したビッグデータソリューションのリーディングカンパニーであるClouderaと、国内企業による多数のビッグデータプロジェクトを支援してきた日立ソリューションズが、マイクロソフトの「Microsoft Azure」を活用したソリューション提供でパートナーシップを強化。クラウドとビッグデータ活用に関する3社の協業は、ユーザー企業にどんな価値をもたらすのか。

[PR／＠IT]

「クラウド×ビッグデータ活用」の企業ニーズに応える

　クラウドを活用したビッグデータソリューションに“強力な選択肢”が新たに加わった。「Hadoop」提供のリーディングカンパニーであるClouderaと、企業のビッグデータプロジェクトを多数支援してきた日立ソリューションズ、クラウドプラットフォーム「Microsoft Azure」を展開するマイクロソフトの3社が協業。Azure上のHadoopを使って、データ分析やマーケティング支援、プライバシー保護など、さまざまなビッグデータソリューションを展開していくことを明らかにしたのだ。

　Clouderaと日立ソリューションズは、2012年にグローバルでの販売代理店契約を結び、Hadoopを本格稼働させるための各種管理ツールや専門家によるサポートサービスをパッケージ化した「Cloudera Enterprise」をサブスクリプションモデルで提供してきた関係にある。

▲高速化で、使いやすく、セキュアなHadoop環境を提供する「Cloudera Enterprise」《クリックで拡大します》

　一方、マイクロソフトとClouderaは2014年にグローバルでパートナーシップを結び、「Cloudera」をMicrosoft Azure Marketplaceから直接導入可能にしたり、SQL ServerからClouderaにデータをインポート可能にしたりといった取り組みを進めてきた。

　それに加えて、日立ソリューションズは、複数分野でマイクロソフトの「ゴールドコンピテンシー」を取得するパートナーという関係でもある。同社はこれまで、クライアントからサーバ、クラウドまでの幅広いマイクロソフトソリューションを展開してきており、2016年8月には、SharePoint Online上のセキュリティを強化する「SharePoint Online秘匿化ソリューション」を発表するなど、新たなソリューションの提供にも積極的に取り組んできた。

日立ソリューションズ ITプラットフォーム事業部 システム基盤本部 第2部 担当部長 川下靖司氏

　この3社が今回、「クラウド×ビッグデータ活用」をテーマの下に集結。今後、共同でのソリューション開発や検証、プロモーションを展開していく。日立ソリューションズの川下靖司氏（ITプラットフォーム事業部 システム基盤本部 第2部 担当部長）は、3社の協業の意義を次のように説明する。

　「業務のデジタル化が進む中、画像や音声、SNS（ソーシャル・ネットワーキング・サービス）、センサー／デバイスなどから得られる膨大なデータを、ビジネスに活用する動きがこれまで以上に活発化しています。ビッグデータの分析基盤も、これまでのようなオンプレミス環境から、クラウド環境へと発展させていく動きが進んでいます。多くの企業がクラウドを活用することで、よりスピーディでフレキシブルなビッグデータ分析が可能になると気が付き始めたのです。3社の協業は、そうした企業ニーズに応えるものです」（川下氏）

　また、Clouderaの朝枝浩毅氏（ディレクター チャネル＆アライアンス）も次のように話す。

　「Hadoopは元々はオンプレミスのHDDに最適化して設計されたものですが、SSDの普及やメモリの大容量化など昨今のハードウェアの進化に対してより最適化する形で革新が進んでいます。実際には、オンプレミスでの稼働実績がまだまだ多いですが、近年、クラウドで利用するお客さまが増えており、オンプレミスとのハイブリッド環境で利用したいという顧客のニーズも急増しています。ClouderaのCEOであるトム・ライリー（Tom Reilly）が言うように、Clouderaとしても、そうした企業ニーズに応えるべく、テクノロジー面含めクラウド戦略を強化しています。日本のお客さまに向けて何ができるか。そんな中で進められたのが、今回の3社の協業でした」（朝枝氏）

なぜ、Cloudera×日立ソリューションズ×マイクロソフトの3社なのか？

日立ソリューションズ ITプラットフォーム事業部 システム基盤本部 第2部 グループマネージャ 中村賢氏

　そもそも、なぜこの3社による協業だったのか。日立ソリューションズの中村賢氏（ITプラットフォーム事業部 システム基盤本部 第2部 グループマネージャ）は、Hadoopに関するこれまでの協業実績、クラウドへの取り組み、エンタープライズ分野での存在感などが背景にあったと振り返る。

　日立ソリューションズは、2010年ごろからHadoopへの取り組みを進め、Hadoop活用のスペシャリストとして、顧客にシステム導入やアプリケーションを提供してきた。2012年にはClouderaとアライアンスを結び、エンタープライズ環境への展開も本格化させた。中村氏によると、そうした中、顧客のHadoopに対するニーズも変化してきたという。

　「当初、Hadoopは分散環境でのバッチ処理が中心でしたが、柔軟なインメモリ処理の『Apache Spark』、高速なSQLデータ処理を可能にする『Apache Impala』といった技術の進化に伴い、リアルタイムでの分析処理などに利用しようという機運が高まりました。また、同時期には、IT業界でのクラウド活用は重要な戦略となり、新たな企業ニーズに応えていくために、安全で信頼性のあるクラウド環境を持ち、エンタープライズに強みを持つパートナーとの協業が求められるようになりました。マイクロソフトとの取り組みは、そうした流れの中で生まれました」（中村氏）

　中村氏によると、Hadoopをクラウド環境で利用したいというニーズは急速に増えている状況だという。現在、顧客からの相談の約3割がクラウドを意識したものであり、将来的にはオンプレミスとクラウドは半々程度になると予測されている。オンプレミスやクラウドを組み合わせて最適なシステムを提供する「ハイブリッドインテグレーション」を得意とする日立ソリューションズであるからこそ、最適な提案や価値を提供できると考えている。

　一方、Clouderaの朝枝氏も、マイクロソフトや日立ソリューションズとの協業は、自然な流れの中にあったと話す。

　「マイクロソフトとは2014年にグローバルでパートナーシップを結び、新技術やツールの検証、実際の稼働環境のサポートなど、数多くの実績を積んできました。例えば、管理ツールの『Cloudera Manager』や、クラウド環境へのデプロイツール『Cloudera Director』は、Microsoft Azure上でオンプレミスと同様に利用できるようになっています。エンタープライズにフォーカスする姿勢は、Clouderaのビジョンとも一致しています。管理、監視、障害診断、Active Directory連携など、Cloudera製品との親和性も高い。また、日立ソリューションズは、そうしたマイクロソフトのテクノロジーをよく知るパートナーであり、実績も豊富です。この2社であれば、日本のお客さまの課題を解決できるとの強い思いがありました」（朝枝）

　クラウドの採用にあたり、特に重要視されたのが、Azureが備えるセキュリティや可用性、信頼性だという。「プライバシー情報匿名化ソリューション」の開発に携わっている日立ソリューションズの岡田健一氏（ITプラットフォーム事業部 システム基盤本部 第2部 主任技師）は、次のように説明する。

　「ビッグデータソリューションを展開する際には、セキュリティの担保とプライバシーへの配慮が欠かせません。ビッグデータ分析で得られた知見は、組織や業界の壁を超えて共有することで、さまざまな新しい価値を生み出します。その際には、セキュリティが確保された環境でデータを連携させ、プライバシーを適切に保護することが不可欠な要素となるのです。システム基盤に求められるのは、セキュリティはもちろん、データの冗長性、地理的冗長性などによる可用性確保の仕組みに加え、国内にデータセンターがあり、日本の法令に従った運用がなされているかどうかといったことも重要なポイントになります。マイクロソフトのAzureは、そうした条件を満たすパブリッククラウド環境でした」（岡田氏）

▲日立ソリューションズ、Cloudera、マイクロソフトの協業の意義《クリックで拡大します》

Cloudera×Azureが企業にもたらすメリットは？

Cloudera ディレクター チャネル＆アライアンス 朝枝浩毅氏

　3者の協業ソリューションによって、ユーザー企業にはどんなメリットが得られるのか。

　まずは、一般的なクラウド利用のメリットが考えられる。具体的には、環境をスピーディにデプロイできるようになること、必要に応じてスケールアウトや縮退を柔軟に行うことができるようになること、開発したシステムやサービスが不要になったときはすぐに利用をやめることができるといったことだ。

　実際、Hadoopの用途がバッチ処理からリアルタイム性の高いデータ処理へと拡大する中、こうしたメリットを享受したいという企業は増えている。そして、Clouderaは、オンプレミスとクラウドで同じ環境が動作することで、これらのメリットを最大化できることが大きな特徴だ。

　「クラウド環境特有の設定は不要で、オンプレミスと同じ環境を、そのままクラウドで利用できます。そのため、ハードウェア調達やデプロイ時間の削減、サービスの迅速な変更といった、クラウドを利用することで得られる効果を直接的なメリットとして享受できます。加えて、『Cloudera Manager』や『Cloudera Director』を使うことで、管理性が大きく高まります」（朝枝氏）

　クラウド環境でHadoopを稼働させるメリットも挙げられる。Hadoopにはこれまでオンプレミスで稼働させていたために生じていた課題がある。それらが解決できるようになるのだ。

　代表的な課題は、予算や工数の見積もり、効果測定のしにくさだろう。Hadoopのクラスタ環境をオンプレミスで構築しようとすると、それなりの初期導入コストと工数が必要になる。どのくらいの期間で投資が回収できるかも分からない。これらが障壁になり、ビッグデータ分析に踏み出せない企業は多かっただろう。

　「クラウド化することで、時間とコストをかけずにビッグデータ分析の取り組みを始めることができます。例えば、自社に蓄積したデータを使ってちょっと試してみる。コストは基本的に利用した分だけです。特に、ビッグデータ分析の取り組みにはどのくらいの予算が必要になるか測定できることは大きなメリットです」（川下氏）

　ビジネスへの道筋がつけやすくなることも大きなメリットだ。オンプレミスの場合、費用や手間の問題から、実際のビジネスに合わせたPoC（Proof of Concept：コンセプト実証）が実施しにくかった。ビッグデータ分析で得られた知見は、ビジネス企画の参考程度にとどまってしまうことも多かった。

　「クラウドの場合、検証に使ったHadoop環境をそのまま本番環境で利用するといったことも柔軟にできます。効果が出なかったらやり方を変えてまた試してみる、といったトライアンドエラーも容易です。ビッグデータ分析を実際のビジネスプロセスに適用しやすくなり、Hadoopの取り組みのフットワークが軽くなることが期待できます」（中村氏）

　他社とのデータ連携の取り組みを、安全性を確保した上で行えるというメリットもある。データ連携では、クラウドを活用して複数の企業が共有できるプラットフォームを構築するのが最近のトレンドの1つだ。重要な情報に対するセキュリティもそこで確保できるようにする。

　「オンプレミスや自社データセンターに構築したデータベース基盤を他社と直接接続することは、セキュリティ的に難しい面があります。安全性が確保されたクラウド環境を活用することで、そうした他社とのデータ連携などを行いやすくなります」（岡田氏）

▲より多くのユーザーが、より多くのデータからより多くの価値をより短い時間で得るための基盤を提供《クリックで拡大します》

ビッグデータソリューションに加え、パーソナルデータの活用に向けた取り組みも

日立ソリューションズ ITプラットフォーム事業部 システム基盤本部 第2部 主任技師 岡田健一氏

　ビッグデータソリューションとしては、具体的にどのようなケースが想定されているのか。今後のビッグデータの取り組みでキーになってくるのが「パーソナルデータ」の活用だ。

　パーソナルデータとは、個人に関するデータであり、氏名等の個人を特定できる情報だけでなく、位置情報や購買履歴といった、個人の行動や状態に関する情報も含まれる。このようなパーソナルデータの活用には、プライバシー侵害の懸念がつきまとう。個人情報保護法の改正で匿名加工情報が規定されたことにより、個人情報を基準に従って加工したデータは、所定の手続きの下で目的外利用や第三者提供が可能になり、パーソナルデータをビジネスで活用しやすい環境が整ってきている。しかし、氏名などの一部の情報を削除するといった単純な加工では、データから個人が特定されるリスクが残ってしまうため、匿名加工情報への加工として不十分であるとされている。

　そこで、プライバシー侵害のリスクの低減や、匿名加工情報への加工のために必要になってくるのが、データの利用価値を保持したまま、高い匿名性を実現する技術。日立ソリューションズでは、独自技術に基づく「k-匿名化」（特定の個人の識別を困難にするためのデータ加工方法の1つ）を開発。それを「プライバシー情報匿名化ソリューション」として提供している。そして、このプライバシー情報匿名化ソリューションをパブリッククラウドで提供するにあたって、ClouderaのHadoop関連技術やマイクロソフトのクラウド環境が活用されている。

　川下氏は、3社協業によるビッグデータソリューションの展開について、次のように展望を話す。

　「例えば、商品メーカーが、小売量販店で蓄積された販売実績データだけでなく、購入者に関するさまざまな属性情報も併せて入手することで、新たな商品やサービスの開発、マーケティングに利用することができるといったケースがあります。また、購買履歴や交通情報履歴、商品の利用履歴といったパーソナルデータを社外の取引先と安全に共有してビッグデータ分析に生かすといったことも考えられます。3社の協業は、“クラウドを使った安全なパーソナルデータ活用に向けての第一歩”ともいえるものです」（川下氏）

　まずは、技術者同士のディスカッションや連携強化、レファレンスアーキテクチャの共有、共同での技術検証や共同マーケティングを進めるという。詳しい取り組みの内容は、2016年11月8日に開催された「Cloudera World Tokyo 2016」（http://www.clouderaworldtokyo.com/）で発表されている。パーソナルデータの活用も視野に入れた3社の協業は、クラウドを活用したビッグデータ分析の“新しい扉”を開くものともいえる。今後の展開に注目したい。

◆Cloudera World Tokyo 2016◆

　「Cloudera World Tokyo」は、ビッグデータプラットフォームカンパニーのClouderaが主催する「Hadoop」を取り巻く企業やパートナー、エンドユーザーをつなぐ日本最大級のイベントです。

• 開催日：2016年11月8日（火）
• 会　場：ANAインターコンチネンタルホテル東京
• URL ：http://www.clouderaworldtokyo.com/