データクラウドのSnowflakeがPythonをネイティブサポート、非構造化データ処理などの新機能も発表:データベース複製速度は55%向上も
クラウドデータウェアハウスのSnowflakeが、Pythonをネイティブにサポートする。これにより、データエンジニアリング用の言語として人気が拡大する Python の開発者にアビールする。他にも非構造化データ処理、マーケットプレイス機能の強化、アカウントレプリケーションなどが発表された。
クラウド型のデータウェアハウス(DWH)を核にデータサービスを展開するSnowflake は2021年11月16日(米国時間)、同社イベントSNOWDAYで、Snowflakeの開発者向けフレームワークSnowparkにおけるPythonのネイティブサポートを発表した。
Snowflakeの開発者向けフレームワークSnowparkでは、これまでJava と Scalaに対応してきた。今回、データエンジニアリングやデータサイエンスの開発言語として人気が高まるPythonに対応することで、より幅広い開発者にアピールする。新機能により、Python開発者はデータをコピーすることなく、直接処理ができるようになる。
Snowflakeでは、その拡張性を生かしつつ、それぞれの開発者が同じデータを対象として好みの開発言語を使って共同作業を行えると、製品担当シニアバイスプレジデントのクリスチャン・クレイナマン氏は説明した。
「セキュリティやガバナンスを考慮しないのであれば、Pythonのランタイムをホストすることは比較的簡単だ。だが、私たちは企業顧客に対し、サンドボックス化された安全な環境を保証し、さらにPythonの利用を楽にするためのライブラリの整備を合わせて提供したかった」(クレイナマン氏)。これに時間を要したという。
新機能「Snowpark for Python」は、プライベートプレビューとして発表された。つまり限定ユーザーのみが内々に利用できる段階。 クレイナマン氏によると、パブリックプレビューとして幅広いユーザーが試せるようになる時期の目標は、2022年上半期に置いているという。
SnowflakeはSNOWDAYで、他にも非構造化データのサポート、データベースレプリケーションの速度向上、アカウントレプリケーション、マーケットプレイス機能の強化、データガバナンス機能の強化などの機能を発表した。
非構造化データのサポート
構造化データ、準構造化データに加えて非構造化データ(ファイル)の処理に対応した。データシェアリング、レプリケーション、ファイル単位のロールベースアクセス制御なども、他のデータタイプと同様に適用できる。音声ファイルやPDF、その他の非定型情報を処理し、構造化データを補完するなどの使い方ができるという 。
データベースレプリケーションの速度向上
SnowflakeはAmazon Web Services、Microsoft Azure、Google Cloud Platformの多数リージョンで稼働する。そして、複数リージョン/クラウド間でデータをレプリケーション(複製)できるようになっている。 この複製のスピードが向上。ある顧客では55%の改善が見られたという。これは利用料金の節約にもつながるとしている。
マーケットプレイス機能の強化
Snowflakeにはデータの売り買いが可能なマーケットプレイス機能がある。 今回は、データ購入前に試せる選択肢を売り手が設けられる機能と、従量課金を運用できる機能が発表された。後者では、売り手がクエリ単位、時間単位の料金を設定できる。
アカウントレプリケーション
データベースに加えてアカウント情報のレプリケーションができるようになった。ID情報、アクセス制御、ガバナンスポリシーなどのメタデータをリージョン/クラウド間で自動的に同期できる。
データガバナンス機能の強化
データオブジェクトの移動やコピーの履歴を、流れとして追跡できるようになった。 また、データオブジェクト間の依存関係が見られるようになった。
なお、日本法人は日本語でのテクニカルサポート、および日本語による技術者トレーニングコースの提供開始を発表した。
Copyright © ITmedia, Inc. All Rights Reserved.