Snowflake、「Apache Iceberg」のオープンカタログ実装「Polaris Catalog」を発表：90日以内にオープンソース化

Snowflakeは、「Apache Iceberg」形式でベンダー中立のオープンカタログ実装「Polaris Catalog」を発表した。Apache Icebergは、データレイクハウスやデータレイクなどのモダンアーキテクチャの実装に広く使われているオープンソースデータテーブル形式だ。

[＠IT]

　クラウドデータプラットフォームを提供するSnowflakeは2024年6月3日（米国時間）、「Apache Iceberg」形式でベンダー中立のオープンカタログ実装である「Polaris Catalog」を発表した。

　Apache Icebergは、データレイクハウスやデータレイクなどのモダンアーキテクチャの実装に広く使われているオープンソースデータテーブル形式だ。

　Polaris Catalogは今後90日以内にオープンソース化され、企業やIcebergコミュニティー全体に、柔軟なデータ管理を実現する新たなレベルの選択肢を提供する。エンタープライズレベルのセキュリティも確保されており、Amazon Web Services（AWS）、Confluent、Dremio、Google Cloud、Microsoft Azure、Salesforceなどの間でApache Icebergテーブルの相互運用が可能だ。

　「企業は、ロックインの心配がないオープンなストレージと相互運用可能なクエリエンジンを求めている。われわれは業界リーダーのサポートを得て、あらゆる企業が柔軟性と管理性の向上を享受しながら、多様なシステムにわたってデータに簡単にアクセスできる仕組みをさらに簡素化していく」と、Snowflakeの製品担当エグゼクティブバイスプレジデントを務めるクリスチャン・クレーナーマン氏は述べている。

　「Polaris Catalogは、オープンスタンダードとしてApache IcebergへのSnowflakeのコミットメントを拡張するものだ。さらに、業界リーダーが、顧客や幅広いIcebergコミュニティーがオープンで中立的なアプローチを通じてデータを活用できるようにし、そのデータに対するエンジン間の相互運用性を高めようとしていることも示している」（クレーナーマン氏）

Apache Icebergの新たなレベルの相互運用性

　Apache Icebergは、2020年5月にApache Software Foundationのインキュベーションプロジェクトからトップレベルプロジェクトに昇格し、それ以来人気が急上昇して主要なオープンソースデータテーブル形式となった。

　「Polaris Catalogにより、ユーザーは任意のエンジンを使って、完全でオープンな相互運用性を備えた自社のIcebergテーブルを検索してアクセスできる、一元化された場所を得られる」と、Snowflakeは説明している。

　Polaris Catalogは、IcebergのオープンソースRESTプロトコルに依存している。このプロトコルは、Iceberg Rest APIをサポートする任意のエンジン（Apache Flink、Apache Spark、Dremio、Python、Trinoなどを使用する）でデータにアクセスし、取得するためのオープンスタンダードを提供する。

　企業は、Snowflakeの「AI Data Cloud」でホストされたPolaris Catalogの運用を数分で開始できるようになる。このPolaris Catalogは、間もなくパブリックプレビュー版がリリースされる。

　また、企業は独自のインフラでDockerやKubernetesなどのコンテナを使って、Polaris Catalogを自社でホストすることもできる。Polaris Catalogのバックエンド実装はオープンソースであるため、企業はホスティングインフラを自由に切り替え、ベンダーロックインを回避できる。