AWSとAmazon EMRを利用してみる:きょうから試せる Hadoop“スモールスタート”ガイド(6)(6/6 ページ)
実際にHadoopで処理を実装していきながら「Hadoopは、誰にだって扱える」を体感しましょう。今回は「AWSとAmazon EMRの利用方法」を解説します。
アクセス証明書
S3やEC2、EMRなどAWSの各サービスはすべてAWSコンソールからの操作に加えてAPIを通じての操作が可能ですが、APIを利用してAWSに要求を投げるときには自分が正当な権限を持っていることを提示しなくてはなりません。このような認証のために利用する証明書のことをアクセス証明書と呼びます。アクセス証明書はAWSアカウントごとに発行されています。
実際にアクセス証明書であるアクセスキーとシークレットキーを確認する方法を説明します。AWSのサイトにログイン後、右上にある「My Account/Console」から、「Security Credential」をクリックしてください。Access Credentialsのところでアクセスキーとシークレットキーが確認できると思います※34。
※34 シークレットキーは画面上の「show」をクリックすると表示されます
この2つのキーを使うことで、コマンドラインやプログラムからでもAPI経由で各サービスを利用することが可能となります。例えばRubyの場合、aws-s3というgemを利用するとS3にファイルをアップロードしたり、ファイルが存在するかどうかの確認がこのように簡単に行えます。
require 'rubygems' require 'aws/s3' include AWS::S3 # S3とのコネクションを作成 Base.establish_connection!( :access_key_id => '[アクセスキー]', :secret_access_key => '[シークレットキー]' ) # アップロード # 引数:s3のファイル名、アップロードしたいファイルオブジェクト、バケット名 S3Object.store('hogehoge_in_s3', open('hogehoge'), 'sasata299') # ファイルが存在するかどうか p S3Object.exists?('hogehoge_in_s3', 'mybucket') # => true
特に慣れてくると、AWSコンソール上ではなくコマンドラインやプログラムから各サービスを利用することが増えてくると思います。いちいちGUIで処理を行うよりも効率よく短時間で作業できると思うのでぜひ使いこなしてみてください。
Hadoopファーストガイド
佐々木達也著
秀和システム 2400円(税別)
「ビッグデータ(=従来のコンピュータシステムでは、しまったり、探し出したり、調査したり、人間にわかりやすく加工したりが難しい、とても大きなデータ)なんて自分には関係ない」そう思っているエンジニアに贈る「Hadoop」の体験型入門書です。数億のユーザを抱えるSNSの利用データのように「雲をつかむような話」ではなく、Webサイトエンジニアや普通のプログラマが親しみを感じられるような普通のデータと、Amazon EMRという手軽な実験環境を使い、実際にHadoopを動かしてみます。手軽に短い時間で分散処理のメリットを体験することで、手元の業務に眠っているかもしれないビッグデータの活用に可能性を見出せるかも知れません。
関連記事
- もし、あなたが「“ビッグデータプロジェクト”を任せる。何とかするように」と言われたら
「ビッグデータプロジェクトを始めることになった」ら、具体的に何をするのか。本連載は、「ビッグデータプロジェクトの“進め方”」を業務視点/ビジネス視点の両面から体系的に理解し、具体的に実践していく方のためのナレッジアーカイブです。第1回目は、「ビッグデータとは何か」の基礎と、「ビッグデータ基盤の概要とメリット」を解説します。 - Hadoopは「難しい・遅い・使えない」? 越えられない壁がある理由と打開策を整理する
ブームだったHadoop。でも実際にはアーリーアダプター以外には、扱いにくくて普及が進まないのが現状だ。その課題に幾つかの解決策が出てきた。転換期を迎えるHadoopをめぐる状況を整理しよう。 - いまさら聞けないHadoopとテキストマイニング入門
Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します - 欧米の金融業界は今、どうHadoopを活用しているか
Hadoopは、欧米の金融関連サービス業界でどう活用されているか。米Hortonworksの金融サービス業界担当ゼネラルマネージャーへのインタビューで得た情報を、2回に分けてお届けする。今回は金融業界におけるHadoopのユースケースを概観する。
Copyright © ITmedia, Inc. All Rights Reserved.