連載
「Amazon S3」の一括処理に便利な「バッチオペレーション」入門――S3バケットから別のバケットへのコピー:AWSチートシート
AWS活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「Amazon S3」の「バッチオペレーション」を紹介し、例としてログが保管されているS3バケットから別のS3バケットにコピーする手順を解説する。
「Amazon Web Services」(AWS)活用における便利な小技を簡潔に紹介する本連載「AWSチートシート」。
皆さんは、「Amazon Simple Storage Service」(S3)にある大量のファイルに対して何らかの一括処理を行いたいと思ったことはないでしょうか? 今回は、そういったことがフルマネージドで可能なS3の機能、「バッチオペレーション」について、その特徴と使い方を解説します。
※S3バッチオペレーションとS3の料金については下記公式の料金説明をご覧ください。
「S3バッチオペレーション」とは?
S3バッチオペレーションは次の特徴を持ったS3の機能です。
- S3のオブジェクトに対してバッチ処理を行う
- 対象のリストを作成して、処理するジョブを定義して実行する
- 数十億のオブジェクトに対してフルマネージドで処理できる
- 進捗(しんちょく)管理、通知、詳細な完了レポートの保存が行える
- AWSが用意している組み込み処理、もしくは自分で用意した「AWS Lambda」関数でカスタム処理もできる
まとめると、「S3にある大量のオブジェクトに対して、フルマネージドに処理を行える」機能です。
ログが保管されているS3バケットから別のS3バケットにコピーする
バッチオペレーションを利用するには下記の設定が必要です。
- 処理対象が記載された「マニフェストファイル」の準備
- 処理の設定を定義した「ジョブ」設定
ここからは具体的な設定内容を見ていきます。例として、ログが保管されているS3バケットから別のS3バケットにコピーするシナリオで手順を紹介します。
構成するリソースは下図の通りです。
バッチオペレーションでの処理は次の通りです。
- フェストファイルの取得
- マニフェストファイルに記載されている対象のファイルを送信先にコピーする
- 処理結果のレポートを出力先に出力する
STEP1:ログ保管バケットの作成
関連記事
- Amazon S3の大量データをローカルにマウントできるファイルクライアント「Mountpoint for Amazon S3」登場
AWSはAmazon S3にある大量のデータを、ローカルコンピュータのファイルシステムにマウントすることができるファイルクライアント「Mountpoint for Amazon S3」を公開した。 - AWSがAmazon S3でデータ暗号化の自動適用を開始、暗号化されていない既存バケットはどうなる?
AWSはオブジェクトストレージの「Amazon S3」で、新規オブジェクトをユーザー側の操作なしにデフォルトで暗号化するようにしたと発表した。2023年1月5日より、世界中の全リージョンで適用が開始された。 - ここでハマる! AWSにEC2インスタンスとしてSplunkログ基盤を構築、検証してみた
リクルートのSOCによるログ基盤クラウド化検討プロジェクトの概要や失敗談、そこから得た学びを紹介する連載。今回は、EC2インスタンスとしてSplunkを構築する上でハマったポイントや、「最適」と考えるアーキテクチャについて。
Copyright © ITmedia, Inc. All Rights Reserved.