「Amazon S3」の一括処理に便利な「バッチオペレーション」入門――S3バケットから別のバケットへのコピー：AWSチートシート

AWS活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「Amazon S3」の「バッチオペレーション」を紹介し、例としてログが保管されているS3バケットから別のS3バケットにコピーする手順を解説する。

[沼崎伸洋，株式会社システムシェアード]

　「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する本連載「AWSチートシート」。

　皆さんは、「Amazon Simple Storage Service」（S3）にある大量のファイルに対して何らかの一括処理を行いたいと思ったことはないでしょうか？　今回は、そういったことがフルマネージドで可能なS3の機能、「バッチオペレーション」について、その特徴と使い方を解説します。

※S3バッチオペレーションとS3の料金については下記公式の料金説明をご覧ください。

• 料金 - Amazon S3 ｜AWS

「S3バッチオペレーション」とは？

　S3バッチオペレーションは次の特徴を持ったS3の機能です。

• S3のオブジェクトに対してバッチ処理を行う
• 対象のリストを作成して、処理するジョブを定義して実行する
• 数十億のオブジェクトに対してフルマネージドで処理できる
• 進捗（しんちょく）管理、通知、詳細な完了レポートの保存が行える
• AWSが用意している組み込み処理、もしくは自分で用意した「AWS Lambda」関数でカスタム処理もできる

　まとめると、「S3にある大量のオブジェクトに対して、フルマネージドに処理を行える」機能です。

ログが保管されているS3バケットから別のS3バケットにコピーする

　バッチオペレーションを利用するには下記の設定が必要です。

• 処理対象が記載された「マニフェストファイル」の準備
• 処理の設定を定義した「ジョブ」設定

　ここからは具体的な設定内容を見ていきます。例として、ログが保管されているS3バケットから別のS3バケットにコピーするシナリオで手順を紹介します。

　構成するリソースは下図の通りです。

　バッチオペレーションでの処理は次の通りです。

1. フェストファイルの取得
2. マニフェストファイルに記載されている対象のファイルを送信先にコピーする
3. 処理結果のレポートを出力先に出力する

STEP1：ログ保管バケットの作成