Google Cloudが「BigLake」「BigBI」など、データ関連で多数の発表：BigLakeはデータのサイロ化を防ぐ

Google Cloudは2022年4月6日、データ分析関連で多数の発表を行った。これにはデータレイクとデータウェアハウスを統合する「BigLake」、 複数のツールで統一したBIができる「BigBI」、データ製品間の相互運用性とベストプラクティスを推進する連合「Data Cloud Alliance」などが含まれる。

[三木泉，＠IT]

　Google Cloudは2022年4月6日、データ分析関連で多数の発表を行った。これにはデータレイクとデータウェアハウスを統合する「BigLake」、 複数のツールで統一したBI（ビジネスインテリジェンス）ができる「BigBI」、データ製品間の相互運用性とベストプラクティスを推進する連合「Data Cloud Alliance」などが含まれる。

BigLakeは分析のための統合ストレージAPI

　BigLakeは各種データレイクとデータウェアハウスを統合するストレージエンジン。次の2つの機能を果たす。1つはさまざまなデータレイク、データウェアハウスのデータを複製したり移動したりせずに統合し、多様なBI、機械学習／AIツールなどで分析できるようにすること。これによって、データのサイロ化を防ぐ。もう1つはデータレイクのデータに、データウェアハウスと同様なセキュリティおよびガバナンスを統一的に適用できることだという。

　BigLakeは BigQuery における経験とオープンソースエコシステムを融合したものだとGoogle Cloudは説明する。

　「業界標準となっているオープンなプラットフォームやストレージエンジン全てに対応する。ファイルフォーマットではParquetなど、データエンジンではSparkなど、テーブルフォーマットではDelta Lake、Icebergなど、あらゆる（主要なオープンソース技術）をサポートする。これは完全にオープンな仕組みだ」（Google Cloud プロダクトマネジメント ディレクター、スディール・ハスべ氏）

　BigLakeは、Google Cloudにおけるデータ関連の投資の中心にあるとハスべ氏は話した。あらゆるツールやコンポーネントがBigLakeとシームレスに動くようにしていくとして、Dataplex、Vertex AI、BigQuery、Spark、Prestoなどを例に挙げている。

　Google Cloudは、BigLakeのプレビュー版を2022年4月6日に提供開始した。

BigBIで社内のさまざまなBI活動を統合

　一方、BigBIは、全社的なBIとセルフサービスBIを統合的に運用するもの。 Google Cloudはまず、Connected Sheets for Lookerを発表した。また、LookerのセマンティックモデルをData Studio／Connected Sheetsに適用することにより、下記のようなセルフサービスBIの問題を解消する。

　「セルフサービスBIは素晴らしい。だが、誰もが『自分だけの真実』を持てることに問題がある。例えば、『グロスマージン』というとき、私はマーケティング費用を算入するのに対し、商品部門の人はマーチャンダイズ費用を算入するかもしれない。同じに見える項目でも、社内で定義が一貫しないことがある」 （ハスべ氏）

　Lookerではこうした問題を解決するため、セマンティックモデルを共通化できるようになっている。これをData Studioにも適用できるようになった。

　「統一されたプラットフォームの上で、セルフサービスBIのパワーと、セマンティックモデルの共通化を両立できる」 （ハスべ氏）

　Tableauなど、他社のセルフサービスBIツールにも適用できるという。

Cloud Spannerでは「変更ストリーム」、Vertex AI Workbenchではモデルレジストリ

　Cloud Spannerでは、データの分析をリアルタイムで行える「Spanner 変更ストリーム」を発表した。 Spannerにおける追加・更新・削除を追跡し、リアルタイムでストリーミングできる。

　Vertex AI Workbenchでは、「Vertex AI Model Registry」のプレビュー提供を発表した。BigQuery ML上を含む機械学習モデルを検出して集中管理できるリポジトリで、組織内でのモデルの共有や利用を容易にするという。

　BigQuery関連では、「Google Cloud Ready - BigQuery」を発表した。これはで、BigQuery連携パートナーを認定する新たな制度。認定を受けるには、特定の機能要件と相互運用性要件を満たす必要がある。既に25社以上が認定されている。

相互運用性を高め、管理共通化を進めるData Cloud Alliance

　Google Cloudはデータ関連企業10社と、「Data Cloud Alliance」という連合を結んだと発表した。参加企業はConfluent、Databricks、Dataiku、Deloitte、Elastic、Fivetran、MongoDB、Neo4j、Redis、Starburst。

　Data Cloud Allianceではパブリッククラウド、オンプレミスのハイブリッドな構成にまたがり、製品間のデータの移動やアクセスを確保するため、共通のデータモデルやプロセス、プラットフォーム統合を推進する。また、データガバナンス、データプライバシー、漏えい防止、グローバルなコンプライアンスで協力するという。