月間約725億ページビューを誇る日本最大級のインターネットサービスを支え、高度なビジネス要件を満たすプライベート・クラウド基盤構築に向けた挑戦

1996年にサービス提供を開始し、2018年2月の時点で、月間約725億ページビューのインターネットサービスへと成長した「Yahoo! JAPAN」を運営するヤフー株式会社（以下、ヤフー）。同社は、プライベート・クラウド基盤のストレージにIBM Cloud Object Storageを導入しました。日本アイ・ビー・エム株式会社（以下、日本IBM）の検証用データセンターを活用し、本番環境と同様、複数拠点間での冗長化構成でIBM Cloud Object Storageを活用したストレージを構築する検証を実施。それを経て、まずは、最も機密性を求められるデータ保存領域である「高セキュリティエリア」に導入。インフラの運用管理性が大幅に向上し、今後「社内システム用エリア」など適用領域を拡張していくことを計画しています。

[PR／＠IT]

※本記事は、日本IBMの事例サイトの記事を転載したものです。そのため、用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。

コンテナ技術やPaaSと、より親和性の高いストレージを
採用する必要に迫られていた

ヤフー株式会社
テクノロジーグループ
グループCTO
服部 典弘氏「IBM製品の導入により複数台のサーバーに障害が起こってもストレージ・サービス全体が止まることはなくなり、インフラの運用管理性が大幅に向上しました」

　ヤフーは、1996年にポータルサイト「Yahoo! JAPAN」のサービス提供を開始して以来、インターネットの力で日本のあらゆる課題を解決する「課題解決エンジン」をミッションに掲げ、さまざまなサービスを展開しています。2018年2月時点で、100を超えるサービスを提供し、月間約725億ページビューのインターネットサービスへと成長しています。

　この巨大なサービスを支えるインフラは、オンプレミス環境のプライベート・クラウド基盤に構築されており、早い段階からOpenStackベースの仮想化インスタンスを社内エンジニア向けに提供。時代のニーズに合ったサービスをタイムリーにリリースしてきました。

　また、Yahoo! JAPAN自体が人々の生活に欠かせない社会インフラになっていることから、BCP（事業継続計画）にも注力しており、離れた複数の拠点・データセンターにより、災害時にもサービスを提供し続けられる体制を構築しています。

　このように、多種多様なサービスを社内外に提供してきた同社ですが、サービス提供のさらなる俊敏性や柔軟性の強化に向けて、インフラチームが取り組むべきテーマとして浮かび上がってきていたのがオンプレミスにおけるクラウドネイティブ技術へのアプローチです。

　ヤフー テクノロジーグループのグループCTOを務める服部 典弘氏は、「パブリック・クラウドが本格的に立ち上がり、企業のインフラとして採用されるケースも増えてきました。当社でもこの動きをキャッチアップしていく必要があると考え、まずは社内のエンジニアに向けて、開発に便利な機能をパブリック・クラウドのように柔軟にサービスを提供できないか検討しました」と話します。

　これに加えて、ファイルシステムベースのストレージ環境にも大きな課題を抱えていました。ヤフー テクノロジーグループシステム統括本部 サイトオペレーション本部 インフラ技術2部 DC戦略の篠原 純哉氏は、「社内エンジニア向けサービスの拡充を図っていく中で、仮想化インスタンスだけではなく、コンテナ技術やPaaSなどへの需要が増えてきました。こうした技術と、より親和性の高いストレージを採用する必要に迫られていました。オブジェクト・ストレージへの移行が急務の課題だったのです」と説明します。

　もう一つ、従来のストレージ環境を見直す要因となったのが、高トラフィックへの対応です。2018年2月時点で、Yahoo! JAPANのページビューは月間約725億を突破し、ユーザーアクセス数は1日当たり4000万、リクエスト数は1日当たり5億、スループットは1秒当たり450GBとなっています。この膨大なトラフィックを処理するには、ファイルシステムベースの環境では限界に近づいていました。

安全性、信頼性、可用性が高い、
非構造化オブジェクト・ストレージを導入

ヤフー株式会社
テクノロジーグループシステム統括本部
サイトオペレーション本部
インフラ技術2部 ハードウェア 2
沼田 晃希氏「従来はNFSを扱っていたのでオブジェクト・ストレージは未知の領域でしたが、日本IBMの充実したサポート体制の下、スムーズに検証を進めることができました」

　オブジェクト・ストレージへの移行プロジェクトが立ち上がったのは2018年6月。そこから本格的に導入製品の選定が始まりましたが、新しいストレージ環境のリリース目標は同年10月に設定されており、4カ月という短期間での移行が求められました。またヤフーのストレージは、ワークロード別に「高セキュリティエリア」「社内システム用エリア」「一般ユーザー向けエリア」の3つに分かれますが、まずは高セキュリティエリアに導入することが決定していました。

　ヤフー テクノロジーグループシステム統括本部 サイトオペレーション本部 インフラ技術2部 ハードウェアの沼田 晃希氏は、「高セキュリティエリアのデータには、専用端末でしか接続できないようになっているレベルの安全性が求められます。このエリアに導入する製品としては、安全性の高さが重要な選定ポイントだったのです」と話します。

　こうした背景を踏まえて、導入製品の選定に当たっては、「API接続をサポートしていること」「安全性、信頼性、可用性が高いこと」に加えて、「豊富な稼働実績を持っていること」「拡張性に優れていること」「保守サポート体制が充実していること」「社内の作業ルールに適合できること」を重視。いくつかの製品を比較検討した結果、これらの要件を全て満たしていたのが、非構造化データ・ストレージであるIBM Cloud Object Storageでした。

　導入が決まると、2018年8月から本番環境での稼働に向けた検証が始まりました。「社内エンジニア向けにプラットフォームとして提供する以上、どのようにサービスが使われるかは、インフラチーム側では把握しきれないのが実情です。そのため、想定しうるあらゆるパターンで検証を行いました」（篠原氏）

　具体的には、日本IBMの検証用データセンターを活用し、本番環境と同様、複数拠点間での冗長化構成でIBM Cloud Object Storageを活用したストレージを構築しました。その中で、拠点間の回線トラブルが発生した場合や、物理的なハードウェア障害が発生した場合などに、どのくらいの遅延が生じるのか、速度が低下するのかを検証。膨大な数のオブジェクトを処理するケースや、オブジェクトを長時間保存し続けたケースでの性能劣化についても検証しました。

　「今までファイルシステムベースを扱っていたインフラチームにとって、オブジェクト・ストレージは未知の領域であり、大きな挑戦となりました。さらに、リリース期日が迫る中、約1カ月で検証する必要がありましたが、日本IBMの充実したサポート体制の下、スムーズに検証を進めることができました」（沼田氏）

プライベード・クラウド基盤で止まらないストレージを実現し、
運用管理性が大幅に向上

ヤフー株式会社
テクノロジーグループシステム統括本部
サイトオペレーション本部
インフラ技術2部 DC戦略
篠原 純哉氏「事前検証によって想定される遅延の影響を確認できたことで、サービスの信頼性を社内エンジニアに明確に示せました」

　全ての検証を予定通り終え、目標としていた2018年10月には本番環境へのIBM Cloud Object Storageの実装を完了。大きなトラブルもなく高セキュリティエリアにオブジェクト・ストレージをリリースしました。

　期待する導入効果について、服部氏は、「高セキュリティエリアは、一般の端末からログインできる環境ではないため、万が一の際には夜間でも現場に駆けつけて冗長構成を復旧し、二重障害によるストレージの停止を防止する必要がありました。しかし今回、IBM Cloud Object Storageを導入したことで、複数台のストレージノードに障害が起こってもストレージ全体が止まることはなくなりました。これにより、夜間に障害が発生しても翌営業日での対応が可能となり、インフラの運用管理性が大幅に向上しました」と述べています。

　また、今までは冗長化のために複数のサーバーに同じファイルを手動で保管していましたが、IBM Cloud Object Storageは、1つのファイルを格納するだけで自動的に分散して保管するため、インフラチームの運用負荷軽減にも期待を高めています。

　また、別の導入効果として、篠原氏は「事前検証によって想定される遅延の影響を確認できたことで、『この規模のネットワーク障害が発生した際には、このくらいのタイムアウトが発生する可能性があるため、リトライ実装をしておくことで運用が継続できる』というストレージの信頼性を社内のエンジニアに明確に示せました」と話します。

　今後の展開としては、現在稼働している高セキュリティエリアに加えて、社内システム用エリアにもIBM Cloud Object Storageの導入を進めており、近日中にオブジェクト・ストレージをリリースする予定です。将来的には、一般ユーザー向けエリアにも導入を広げていく考えです。また、高セキュリティエリアのストレージ容量も、利用サービスの増加に合わせて順次拡張していくことを計画しています。

　「ヤフー全体としてのIBM Cloud Object Storageの導入プロジェクトはこれからが本番だと考えています。まずはプライベートクラウドとして社内向けにリリースを行いました。これからサービスのワークロードをIBM Cloud Object Storageに移していき、Yahoo! JAPANのユーザーに価値を提供できた時こそが本当のスタートと位置付けています。そのためにも、引き続き日本IBM様とコミュニケーションをとりながら、一緒になってこのオブジェクト・ストレージを成長させていきたいと考えています。」（服部氏）