知らないと大損する、Apache Sparkの基礎知識と3つのメリット：特集：IoT時代のビジネス＆IT戦略（3）（3/3 ページ）

» 2015年11月30日 05時00分公開

今後Sparkを活用できる企業とは

―――今後はどのような企業がSparkを活用すると考えていますか。例えば、どれくらいの規模の企業が使うのでしょうか。

土屋氏　現在、Sparkに取り組んでいるのは、スタートアップから大企業、大量データを扱う研究機関など、さまざまなケースがあります。

下田氏　規模は関係なく、データの量と特性によって取り組んでいると思います。「入って来るデータも多く、バッチのデータも多い」といったケースではSparkが適していますし、デイリーで蓄積したデータをバッチ処理するだけならSparkでなくてもよいと思います。「よりビジネスのアクションに近いことを行いたい」スタートアップやオンライン系の企業の方が活用するケースが多いのではないでしょうか。

　O2Oやオムニチャネルが話題になっていますが、現実的には、Webで完結しているサービスの方がすぐにアクションにつなげられます。またIoTも話題となっていますが、結果を基にユーザーが次のアクションを起こす前に改善を行うサイクルを回しているケースは、まだまだ少ないのが現状です。

土屋氏　今後は、ITベンダーが主導するという流れよりも、IoTに取り組んでいるユーザー部門からのニーズでテクノロジが決まっていくでしょうね。

下田氏　IoTではストリームデータが重要ですが、ストリームデータを扱う場合の選択肢としてもSparkが選ばれていくと思います。Sparkには、「Spark Streaming」というストリーム処理基盤もあり、インメモリのマイクロバッチで安定して処理できるため、ストリーム処理やリアルタイムに近い処理を行いたいときに、手軽に利用するためにSparkが使われていくのではないかと考えています。

―――Sparkに興味を持っている方や導入を考えている企業にメッセージをお願いします。

土屋氏　連続して入ってくるデータに対しての処理が行えるSpark Streamingは、企業がこれまでやれなかったことの一つを解決できるツールであるため、新たな価値を生み出せる可能性があると思います。Sparkのメリットを考えるときに、このSpark Streamingという技術に着目することもポイントではないかと思いますね。

下田氏　IoTという文脈では、必ず分析と技術者を融合させていく必要が出てきます。Sparkは、HadoopやPython、R言語でできなかった分析者と技術者が融合できる可能性を持った唯一のプロダクトです。「IoTをやろう」と考えるのであれば、必ず選択肢に入ってくるのがSparkであるため、しっかりと押さえておくことが企業や技術者にとっても重要であると思います。

土屋氏　下田さんの言うように、分析者と技術者の架け橋となるのがSparkです。ディスラプティブなIoTのプレーヤーが多数出てくる中で、キーテクノロジとなるのがSparkであると考えています。今後、ストリーム処理やリアルタイム分析をやっていかなければ、新たなプレーヤーに対抗していけない中で、新しいプロセスを作るためにもSparkに注目していただければと考えています。

特集：IoT時代のビジネス＆IT戦略～「チャンス」にするか、「リスク」になるか、いま決断のとき

今、IoT（Internet of Things）が世界を大きく変えようとしている。企業は現実世界から大量データを収集・分析して製品・サービスの開発／改善につなげ、社会インフラはあらゆる予兆を検知してプロアクティブに対策を打つ。だが、IoTはドライバーにもリスクにもなり得る。データの収集力、分析力、そして価値あるアクションに落とし込む力次第で、チャンスをモノにもできれば奪われもするためだ。企業・社会はこの流れをどう受けとめるべきか？――本特集ではIoTの意義から、実践ノウハウ、不可欠なテクノロジまでを網羅。経営層からエンジニアまで知っておくべき「IoT時代に勝ち残る術」を明らかにする。

特集：IoT時代のビジネス＆IT戦略～「チャンス」にするか、「リスク」になるか、いま決断のとき

IoTの循環プロセスを形成する4つのステップとは
世の中全体に大きなインパクトをもたらすとして、社会一般から大きな注目を集めているIoT（Internet of Things）。だが、その具体像はまだ浸透しているとはいえない。そこで本特集ではIoTがもたらすインパクトから、実践に必要なインフラ、ノウハウまで、順を追って掘り下げていく。今回は、IoTの研究開発に余念がない現場の技術者に4ステップに分かれるIoTのプロセスと、各ステップに必要な技術要素や課題などについて聞いた。
IoTとは何か？企業、社会をどう変えるのか？　
世の中全体に大きなインパクトをもたらすとして、社会一般から大きな注目を集めているIoT（Internet of Things）。だが、その具体像はまだ浸透しているとはいえない。そこで本特集ではIoTがもたらすインパクトから、実践に必要なインフラ、ノウハウまで、順を追って掘り下げていく。
Hadoop→Redshift→その先は？――IoT／ハイブリッド時代の最新トレンドを整理する
人間や機械の活動をデータとして取り込むIoTの出現で、クラウド上の「データベースサービス」をエンタープライズでも利用する場面が増えてきた。データベースとクラウドの関係、データ活用のリアルを、ITジャーナリスト谷川耕一氏の視点でひも解く。
Apache Sparkに注力するIBM、目指すは「データ分析のOS」
北米トヨタ販売子会社での採用事例の発表などもあり、日本国内でも注目を集めつつある「Apache Spark」。具体的にはどんな特徴があって、何ができるのだろうか。Sparkへの大規模投資を発表したIBM（日本IBM）を取材した。
Hadoopは「難しい・遅い・使えない」？越えられない壁がある理由と打開策を整理する
ブームだったHadoop。でも実際にはアーリーアダプター以外には、扱いにくくて普及が進まないのが現状だ。その課題に幾つかの解決策が出てきた。転換期を迎えるHadoopをめぐる状況を整理しよう。