Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表：Anthosを活用

Google Cloudがアナリティクスサービス「BigQuery」のマルチクラウド対応を発表した。AWSやAzureに保存されているデータを転送したり複製したりすることなく、BigQueryで分析できるようになる。

[三木泉，＠IT]

　Google Cloudは2020年7月14日（米国時間）、アナリティクスサービス「BigQuery」のマルチクラウド対応を発表した。Amazon Web Services（AWS）やMicrosoft Azure上のデータを動かすことなく、BigQueryによるマルチクラウドのデータ分析ができる。

　Google Cloudは同日、AWSの「Amazon S3」に対応したプライベートα版の提供を開始した。Azureへの対応は近い将来（「soon」）に行うという。

　BigQuery Omniでは、Google Cloudがマルチクラウド対応を進めるマネージドKubernetesサービス、「Anthos」を活用する。BigQuery OmniとしてAWSやAzureに展開するAnthosクラスタ上で、BigQueryのクエリエンジンである「Dremel」をマネージドサービスとして動かす。その上で、Google Cloud Platform（GCP）上のBigQueryユーザーインタフェース（UI）を通じたユーザーによるクエリを受け、Dremelがターゲットクラウドのデータストレージ上のデータに対して直接クエリを行い、結果をGCPのBigQuery UIに返す、またはターゲットクラウドのデータストレージに戻すことができる。

BigQuery Omniの仕組み

　これにより、ターゲットクラウド上のデータをGCPへコピーするなどせずに、BigQueryで分析できる（ターゲットクラウド上のBigQueryクラスタへの一時的なデータ移動は発生する）。

　BigQueryはもともとクエリエンジンとストレージを分離した設計になっているため、これが実現できたという。

Big QueryとBigQuery Omniの構成

　Google Cloudのデータアナリティクス担当ゼネラルマネージャー兼エンジニアリングバイスプレジデント、デバンジャン・サハ（Debanjan Saha）氏は、BigQuery Omniのメリットを次のように説明した。

• BigQueryのUIを通じ、標準SQLとBigQueryのインタフェースでマルチクラウドのクエリを書いて実行し、統合ダッシュボードを構築できる。単一のインタフェースを通じ、統合的な分析ができる。
• クエリエンジンをターゲットクラウドで動かすため、AWSやAzure上のデータを移動したり、複製したりする必要がない。このため、データ転送料金は発生しない。
• BigQuery Omniは同サービスが管理するAnthosクラスタ上で動く。いずれもマネージドサービスであり、ユーザーはインフラを意識する必要がない。クラスタの設定やプロビジョニングは不要。
• Anthosによって、他のパブリッククラウドへのBigQueryクエリのセキュリティは担保される。
• BigQuery Omniはデータ形式としてAvro、CSV、JSON、ORC、Parquetに対応する。これらの形式である限り、変換をする必要がない。

　例えば、GCP上のGoogle Analytics 360の広告データに対するクエリと、Amazon S3に保存されるAWS上のEコマースプラットフォーム／アプリケーションのログデータに対するクエリをBigQuery Omniで行い、Google CloudのBIツールである「Looker」でダッシュボードを構築して、広告出稿とユーザーの購買行動の関係を可視化するなどに使えるという。