「ブートストラップアクション」でできること：きょうから試せる Hadoop“スモールスタート”ガイド（7）（1/3 ページ）

実際にHadoopで処理を実装していきながら「Hadoopは、誰にだって扱える」を体感しましょう。今回は「ブートストラップアクションの利用方法」を解説します。

» 2017年03月14日 05時00分公開

[佐々木達也，著]

連載目次

書籍の中から有用な技術情報をピックアップして紹介する本シリーズ。今回は、秀和システム発行の書籍『Hadoopファーストガイド（2012年9月20日発行）』からの抜粋です。

ご注意：本稿は、著者及び出版社の許可を得て、そのまま転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。

Hadoopで処理を実装してみよう

　前回、EMR（Amazon Elastic MapReduce）上でHadoop処理を実行するのが手間が掛からず良いのではないかという話をしましたが、具体的にはどのように処理を実装したら良いのでしょうか。

　今回はブートストラップアクションや外部ファイルの読み込み、クラスタのノード数のリサイズなど、Hadoopで処理を実装する際に必要となることを紹介しつつ、実際にHadoop Streamingで処理を実装してみたいと思います。

ブートストラップアクション

　どのようにEMRを利用すればよいかは前回の説明である程度伝わったでしょうか。ここから、より詳細なEMRの利用方法や具体例、クラスタのリサイズ、Tips等について扱います。

　まず、EMRの起動時の流れを確認しておきましょう。EMRを起動するとまずインスタンスが起動し、それぞれのインスタンスでブートストラップアクションが実行され、最後にそれらのインスタンスからなるEMRクラスタが構成されます。ブートストラップアクションは最大で16個まで指定して実行することができます。

EMRの起動フロー

　ブートストラップアクションではどのようなことができるのでしょうか。ここではさまざまな処理が行えるのですが、これまでは簡単にしか触れてきませんでした。そこで今回はブートストラップアクションでどういったことが行えるのかを、具体例を挙げながら見ていきたいと思います。

　実際ブートストラップアクションが利用される例としては以下が挙げられると思います。

Hadoopの設定を上書きする
利用したいライブラリのインストールやエイリアスの設定
タイムゾーンの変更など
Gangliaをインストールして利用する

Hadoopの設定を上書きする

もし、あなたが「“ビッグデータプロジェクト”を任せる。何とかするように」と言われたら
「ビッグデータプロジェクトを始めることになった」ら、具体的に何をするのか。本連載は、「ビッグデータプロジェクトの“進め方”」を業務視点／ビジネス視点の両面から体系的に理解し、具体的に実践していく方のためのナレッジアーカイブです。第1回目は、「ビッグデータとは何か」の基礎と、「ビッグデータ基盤の概要とメリット」を解説します。
Hadoopは「難しい・遅い・使えない」？越えられない壁がある理由と打開策を整理する
ブームだったHadoop。でも実際にはアーリーアダプター以外には、扱いにくくて普及が進まないのが現状だ。その課題に幾つかの解決策が出てきた。転換期を迎えるHadoopをめぐる状況を整理しよう。
いまさら聞けないHadoopとテキストマイニング入門
Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します
欧米の金融業界は今、どうHadoopを活用しているか
Hadoopは、欧米の金融関連サービス業界でどう活用されているか。米Hortonworksの金融サービス業界担当ゼネラルマネージャーへのインタビューで得た情報を、2回に分けてお届けする。今回は金融業界におけるHadoopのユースケースを概観する。