6分かかった検索が1秒に――データの一元管理と素早い分析を実現するクラウドネイティブ時代のデータ分析基盤：オンプレ、クラウドで増え続けるデータを一元管理

デジタル時代において「データ」は収益の源泉として欠かせない。ユーザーがどの段階でどのような行動を取ったかログを収集し、さまざまな角度から分析する。それをサービスや製品の改善につなげる。工場の生産ラインでセンサーデータを収集し、品質や生産性の向上に役立てることもできる。データという宝の山を生かさない手はない。ではどのような方法で、データ活用を実現できるのだろうか。

[PR／＠IT]

PR

従業員のアクティビティー把握の面からも高まるデータ活用のニーズ

　昨今、ビッグデータだ、IoTだ、AI（人工知能）だ、といったキーワードを並べるまでもなく、データ利活用の機運は高まるばかりだ。特に、B2Cの分野を中心にWebサービスやモバイルアプリケーションを提供する際には前提として、パフォーマンスをはじめとするメトリックを監視して最適なユーザーエクスペリエンスを提供できているかどうかを確認したり、ユーザーのアクティビティーログを収集、分析したりする。

　データの収集と分析は、企業が利用する業務アプリケーションでも不可欠だ。IT部門にとって、従業員やパートナーが快適に利用できているか、障害が発生していないかを見極める必要がある。そのためにはさまざまな値をモニタリングして大規模なトラブルが発生する前に食い止めなければならない。中長期的なトレンドを把握して、IT基盤の増設計画や故障予測に活用したり、普段とは違う異常な行動を検知して不正アクセスを未然に防いだり、といった活用法も広がってきた。

　リレーショナルデータベース（RDB）とは一線を画すユニークな技術を基にデータ収集、活用を支援してきたElasticsearchの鈴木章太郎氏（テクニカルプロダクトマーケティングマネージャー）は、「ここ数年、SaaS（Software as a Service）の活用やオンプレミスシステムのクラウド移行といった取り組みが多くの企業や官公庁で進んでおり、データが指数関数的に増えていくと指摘されてきました」と話す。

　そこに到来したのがCOVID-19だ。感染症対策としてオフィスへの出社を控え、オンライン会議やテレワークが広がった。従業員同士、互いの姿が見えにくくなった結果、データ活用にも新たな局面が到来したという。

　「これまで監視してきた業務アプリケーションを利用する際のデータだけでなく、誰がいつ、どのような会議をしているのか、どのようなアジェンダで議論が交わされてアウトプットが出ているかといったレベルまでデータを取りたいという要望が出てきています。また『あの人の最近調子どうだろう？　会議でも発言していないし、心配だ』といった関心から、従業員のアクティビティーを含めたテレワークならではのデータ分析の必要性が高まっています」（鈴木氏）

複雑化する環境がデータ集約の課題に、クラウドネイティブも含め分散

　企業が利用するアプリケーションや顧客向けに提供するアプリケーションの増大に伴って、企業が収集、監視したいデータの量は膨れ上がる一方だ。そこにテレワークが加わることで「顧客向けと社内向け、両方の側面から、メトリックやログを収集し、データをいかに意味があるものに変えて、管理していくのかが求められています」（鈴木氏）

　もう一つの問題は、ただ収集して蓄積するだけでは、どれだけデータがあっても企業にとって意味あるものにならないことだ。「ログは取っているけれど保存しているだけで、そこから意味のある洞察や分析を導き出せていない」というのは、IT部門やデータ活用担当者の「あるある」だろう。

　その上、クラウドサービスの広がりやクラウドネイティブ環境への移行が新たな課題を生み出している。「企業の規模が大きくなればなるほど、従来のファイルサーバから、クラウド上のストレージやコミュニケーションツールへと活用が広がっています。複数のクラウドにまたがって横断的に検索し、的確なドキュメントや議事録などを探したいというニーズがあります。しかしそれを実現しようとすると、それぞれコネクターを導入したり、自力でツールを開発したりしなければならず、大きな課題になっています」と鈴木氏は指摘した。

　何とかデータの収集、監視体制を作ってはみたものの、「管理インタフェースが幾つもずらっと並び、結局チームが分断してしまうケースもよくあります。1つの画面でさまざまなデータを統合的に把握し、必要な所はドリルダウンして詳細を見ることが可能な体制を作っていくことが重要です」（鈴木氏）

　前述の通り、社内向けのデータ活用という観点では、従業員の働き過ぎを防ぎたい、中途採用で新たにチームに加わったメンバーの様子を知りたいというニーズがある。だがマルチクラウドにまたがってデータを収集し、的確に状況を把握するのは困難だ。

　それでなくとも、各部門やチームがばらばらに、異なる観点でクラウドを導入していった結果、せっかくのデータが戦略的に活用できていないという課題もある。

　「CRM（顧客関係管理）に入力したデータと、名刺管理サービスに入れたデータをうまく連携させて活用したくても、部門ごとにバラバラになっています。それらを個人情報に配慮した上でうまく統合したいという要請が高まっています」（鈴木氏）

　複数のSaaSやクラウドにまたがるデータ活用や検索だけでなく、まだまだ業務を支えているオンプレミス環境のデータ管理も不可欠となる一方で、コンテナ、サーバレスといったクラウドネイティブな環境も見据えていかなければならない。このように環境が複雑化し、分散していく中でどうやって「データ」を一つに統合し、企業の力にしていくかが大きな課題となっている。

一つのスタックであらゆる環境やニーズをカバーする「Elastic Stack」

　一連の問題を解決する上で有効なのが、Elasticsearchのプラットフォーム「Elastic Stack」だ。

　オープンソースの検索ライブラリ「Apache Lucene」をベースに、「REST API」などを追加して高速な検索を可能にした検索エンジン「Elasticsearch」がコアとなっている。そこにサーバやコンテナのログ情報やアプリケーションログ、あるいはCPUやメモリといったハードウェアのメトリック情報を収集するエージェント「Beats」や、データの加工と取り込みを担う「Logstash」、分析結果をリアルタイムに可視化する「Kibana」と追加の機能を提供するサービスやアプリケーションを組み合わせた。直近では、複数のBeatsを集約した「Elastic Agent」と、それらの一元管理を実現する「Fleet」といったコンポーネントもリリースされている。

　同社はElastic Stackをベースに、主要な用途別に、複数のリソースにまたがる横断的な検索を可能にする「エンタープライズサーチ」、脅威の動向を可視化してセキュリティ監視を支援する「セキュリティ」、ログやメトリック、アプリケーションパフォーマンスに関するデータを素早く集計し、閲覧できるように整える「オブザーバビリティ」という3つの製品を提供している。

Elastic Stackを軸とした製品プラットフォーム（提供：Elasticsearch）

　ポイントの一つは、さまざまな環境に合わせて導入できることだ。オンプレミス環境への導入はもちろん、パブリッククラウドでコンテナとして動作する「Elastic Cloud」の他、仮想マシンにデプロイできる「Elastic Cloud Enterprise」、既存のKubernetesクラスタに追加できる「Elastic Cloud on Kubernetes」といったさまざまな形態で提供されており、既存の環境からクラウドネイティブ環境まで幅広くサポートしている。

Elastic Cloudのメリット（提供：Elasticsearch）

　Elastic Stackの特徴は、オンプレミスからクラウドに至るまでさまざまな場所に分散し、増大を続けるデータを1カ所に統合し、一つの分析基盤を構築できることだ。「オンプレミスとクラウド、コンテナにまたがってデータを見ることができるとうたうツールもありますが、例えばコンテナのみでオンプレミス側のシステムがケアできません。Elastic Stackのようなサードパーティー製のツールでそうした隙間を埋めていくことが重要でしょう」（鈴木氏）

　Elasticsearchには、大量データの高速検索においては一日の長がある。RDBとは異なるアーキテクチャで、JSON形式のドキュメントをインデックス化することで、数百万件、数千万件といった単位の大量のデータを高速に検索できる。さらに、最初からクラウドネイティブ環境を想定してマイクロサービス化されているため、拡張や高可用性の確保も容易な上、日本語も含め、表記揺れに伴うあいまい検索に柔軟に対応できる。さらに、データをリアルタイムに、グラフィカルに表示できる「Kibana」も、多くの企業で活用されている。

　オープンソース版でも「大量にため込んだデータを高速に検索、分析してさまざまな形で見せる」ことが可能だ。有償版では、アーカイブ型ストレージを瞬時に検索できる機能や、スナップショットのライフサイクル管理など、特にエンタープライズ環境で求められる高度な機能、便利な機能が利用可能になる。

　加えて、コンサルティングやサポートが提供されることも大きな安心材料だ。Elasticsearchは複数のコンサルティングパートナーとともに、企業それぞれの環境やニーズに合わせて、より高速に必要な知見を引き出す方法をアドバイスしている。

数分かかっていた検索を1秒に、多くの企業が実感するElasticsearchの価値

　既に、Uberをはじめさまざまな企業がElastic Stackを活用し、新たな知見を見いだしたり、自社を脅かす脅威をいち早く見つけ出したりする取り組みを進めている。

　三井住友DSアセットマネジメントは、クラウドネイティブな環境での「Search as a Service」をElastic Stackで実現している。構造化データ、非構造化データを含めて35種類のデータソースをElasticsearchに集約し、資産運用アドバイスのためのレポート作成に活用している。これまで約6分かかっていた検索が1秒に、数十秒かかっていた検索が0.1秒に高速化され、より高い付加価値を提供できるようになっている。

三井住友DSアセットマネジメントの事例（提供：Elasticsearch）

　オンライン決済サービスを提供するSBペイメントサービスは、決済トランザクションの状況をリアルタイムに可視化できた。さらに機械学習技術で通常の動向を把握し、そこから逸脱した異常を素早く検知することで、障害の他、何らかの商業キャンペーンで突然決済が活発化した場合や、不正利用の恐れがある場合を検知できるようにした。

SBペイメントサービスの事例（提供：Elasticsearch）

　機械学習技術を活用して、食品製造ラインの映像データを解析しているブローダービズの例もある。これも、複数のソースから得られた情報を機械学習技術で解析することで、異常事態を速やかに検知できるようにしている。

　デジタル時代における収益の源泉である「データ」を、ため込むだけに終わらせず、きちんと分析し、可視化することでさまざまな価値が生まれつつある。Elasticsearchは、企業が長年投資してきたオンプレミスのシステムから、新たに導入されたクラウドアプリケーションに至るまで、ヘテロな環境、複雑かつ分散した環境に至るまでをカバーする。生み出されたデータを1カ所にまとめ、分析することで、強力な基盤となるだろう。

　「製品に関する詳細を『Elastic Meetup』などのコミュニティーイベントやWebセミナーでも発信しています。Elasticsearchは今後もオープンソースコミュニティーとの協調はもちろん、さまざまなクラウド事業者との協業を進め、クラウドネイティブな時代における企業の新しいビジネスを支援していきます」（鈴木氏）

直近開催の無料セミナー（Elasticsearch）

Amazonギフト券が当たる！アンケート実施中　＜本アンケートは終了しました＞

本記事に関連して「データ利活用」についてのアンケートを実施しています。回答された方から抽選で10名様にAmazonギフト券3000円分をプレゼントいたします。ぜひ下記アンケートフォームよりご回答ください。当選発表は発送をもって代えさせていただきます。

ログイン または 会員登録（無料）いただくとアンケートフォームが表示されます。オレンジ色の「アンケートに回答する」ボタンからアンケート回答をお願いいたします。