Google Cloudがデータ関連で多数の発表、テーマはクラウドや社内データの「サイロ」解消：Google Cloud Next '21

Google CloudはGoogle Cloud Next '21で、「BigQuery Omni」「Dataplex」「Spark on Google Cloud」「Vertex AI Workbench」「Cloud Spanner」など、データ関連の発表を多数行った。最大のテーマはマルチクラウドや社内に分散するデータの統合利用。

[三木泉，＠IT]

　Google Cloudは、2021年10月第3週に開催した年次カンファレンス Google Cloud Next '21において、「BigQuery Omni」「Dataplex」「Spark on Google Cloud」「Cloud Spanner」「Vertex AI Workbench」など、データ関連の発表を多数行った。最大のテーマは統合。

BigQuery Omniが一般提供に

　Google CloudはデータウェアハウスサービスのBigQueryで、BigQuery Omniを2021年10月中に一般提供（GA）する。 BigQuery Omniは、外部クラウドに存在するデータを動かすことなく分析できるサービス、現在のところAmazon Web Services（AWS）のAmazon S3、Microsoft AzureのAzure Blob Storagaに対応している。

　BigQuery Omniでは、Google CloudがAWS、AzureにKubernetesサービスの「Anthos」を展開し、BigQueryのクエリエンジンである「Dremel」をマネージドサービスとして動かす。その上で、Google Cloud Platform（GCP）上のBigQueryユーザーインタフェース（UI）を通じたユーザーによるクエリを受け、Dremelがターゲットクラウドのデータストレージ上のデータに対して直接クエリを行い、結果をGCPのBigQuery UIに返す、またはターゲットクラウドのデータストレージに戻すことができる。

　BigQueryでは外部関数への対応が発表となった。 従来のSQL、JavaScriptによる関数に加え、Node.js、PHP、.Net、Go、Python、Java、Ruby、PHPで書かれた外部関数に対応する。 上記の言語で書かれた関数の移行にも役立つ。

　また、BigQueryの検索インデックスがプレビューとなった。これはマネージド型のテキストインデックスサービス。構造化／非構造化データのインデックスを自動生成する。これにに対し、SQL関数でデータポイントを検索して位置を確定可能。データウェアハウス、データレイク、ログ解析ソフトなどの間の分断を解消できるとしている。

Spark on Google Cloudのプレビュー版が登場

　オープンソースのデータ分散処理フレームワークであるApache Sparkは、高速性、使いやすさなどからビッグデータ分析ではよく使われている。 Google Cloudは「Spark on Google Cloud」として、Sparkサービスのプレビュー版を提供開始すると発表した。