巨大ネットサービスのネットワークから考える、データセンターネットワーク運用課題の克服：アイティメディア エグゼクティブエディター 三木が探る
データセンターのネットワークは、課題が山積している。その解決のために、巨大ネットワークサービスのネットワーク運用から学べることはないのか。アイティメディア ITインダストリー事業本部 エグゼクティブエディターの三木泉が探る。
自社でデータセンターを運用している人なら、だれでもネットワークをどうするか、悩んでいるはずだ。まず、予測不能なデータセンター内のトラフィック増への対応が難しい。サービスのニーズに応じて、迅速で柔軟な拡張をしていくことが求められるし、スイッチの台数が増えれば、機器コストも運用コストもばかにならない。また、ネットワークの規模が大きくなるほど、運用安定性の確保が困難になる。
こうした悩みを持つ、データセンターのネットワーク運用担当者はどうすべきか。これを探るために、フェイスブックやマイクロソフト、グーグル、アマゾンなどの超大規模データセンターがどのようにネットワークを運用しているのかを知ることは参考になる。これらの規模が全く異なるにしても、データセンターネットワーキングの課題が濃縮されていると考えられるからだ。
そこで、ソーシャルネットワーキングサービスのトップ5社をはじめ、最大クラスのインターネットサービス事業者で、データセンター用のスイッチあるいはルーターが軒並み採用されているというジュニパーネットワークスに、これらのデータセンターがどんなネットワークを構築しているのかを聞いてみた。
ちなみに、日本のユーザーから見た時のジュニパーは、キャリアのコアルーターか、旧ネットスクリーンに代表される一般企業向けの小型ファイアウォールというイメージが強いかもしれないが、最近のジュニパーのビジネスは、データセンター用のスイッチ、ルーター、ファイアウォールに大きくシフトしている。上記のように、巨大データセンターをはじめとした採用が進んでおり、この流れは日本でも同様で、その勢いはジュニパージャパンのクラウド導入事例一覧サイトでも伺うことができる。
さて、これらのデータセンターの多くが、「Closトポロジー」（スパインスイッチ、リーフスイッチの2段構成で、全スパインスイッチが全リーフスイッチと直接接続されるフラットな構成）を採用し、さらにレイヤー3でセンター内のネットワークファブリックを構築しているのはよく知られている。レイヤー3が多用されているのは、これまでのレイヤー2による「イーサネットファブリック」が各メーカー独自の実装になっていることを嫌う側面もあるが、何よりもこうしたデータセンターは、規模からいってレイヤー2では賄いきれなくなっていることが、背景にある。
例えばフェイスブックやマイクロソフトは、自社データセンターでBGPを用い、IPファブリックを構築していることを明らかにしている。レイヤー3終端の単位はサーバーラックごと、あるいはさらに細かい単位で行われている。つまりデータセンター内のトップオブラック・スイッチ（以下ではTORスイッチと表記する）それぞれが、BGPなどの大規模構成に対応可能なプロトコルをサーバーの前段でしゃべっていることになる。
こうしたIPファブリックの上でレイヤー2のコネクティビティを必要とするアプリケーションを動かす必要がある場合は、オーバーレイ技術を使って論理的なレイヤー2空間が構築されている。こうした構成は今後ますます増えてくるだろうという。
オーバーレイ技術としては、ジュニパーのお家芸でもあるMPLSというプロトコルが有名だが、最近ではVXLANの採用も増えているという。TORスイッチによく使われるブロードコムのチップが、VXLANをサポートする機能を強化していることが、これを促進しているという。TORスイッチでVXLANトンネルを終端することもでき、物理サーバーへの対応もしやすくなってきた。
VXLANは実装の選択肢が広い。SDNコントローラーを使いたい場合は、ジュニパーのContrail／Open Contrail、ヴイエムウェアのVMware NSXなどが利用できる。 シスコのSDNソリューションであるACIでも、カスタマイズされたVXLANが利用されていることは有名だ。
一方、SDNコントローラーを使わずに、TORスイッチのVXLAN終端機能を使って、オーバーレイのメリットをシンプルに享受することも可能になり始めている。ただし、これまでの標準ベースのVXLANでは、IPマルチキャストが使われることが多いため、拡張性が限られてしまうという課題がある。複数データセンター間での、エンド・ツー・エンドのオーバーレイも難しい。
そこで、ジュニパーは、シスコやアルカテルなどと共同で、「MP-BGP EVPN control plane for VXLAN」という標準を推進しようとしているという。VXLANの終端ポイント（VTEP）が自動的にホストのレイヤー2／レイヤー3の到達情報を学習し、MP-BGPの利用で、これをLAN／WAN 越しに他のVTEPと共有できる。WANではMPLS経由でオーバーレイを運用できる。
これを使うと、既存の標準だけでVXLANを活用でき、ベンダーロックインを避けられるメリットがある。より根本的には、「フラッディングによってホストがMACアドレスを学習する」という従来のネットワークのあり方を、大きく変える可能性を秘めている。
上記の一連の動きをまとめると、「データセンター内のネットワークが、通信事業者で使われるテクノロジーを前提にしたものに近付きつつある」とも表現できる。このためジュニパーは、同社の差別化の源泉であり続けてきた、通信事業者における利用にも耐えるハードウエアやプロトコルを、データセンターでますます生かせる状況になってきたのだという。
米ジュニパーは2014年12月、「OCX1100」というOpen Compute Project準拠のスイッチを発表した。この製品の重要な目的は、大規模データセンターが、低価格なハードウエアを活用しながら、同社のネットワーク関連機能が詰め込まれたネットワークOSであるJUNOSを、ベンダーロックインのない形で活用してもらえるようにすることだという。
「IPファブリックは無理」でも、やれることはいろいろある
上記を読んで、「いや、IPファブリックまではつくりたくない、仮想化におけるライブマイグレーションなどの都合から必要なレイヤー2ネットワークを、低管理負荷で、柔軟に拡張できるものにしたいだけだ」と感じた読者もいるだろう。IPファブリックに基づくデータセンターネットワークが拡張性に優れることはたしかだが、BGPの利用など、運用管理負荷が増える部分があることは否めないからだ。
ジュニパーは、そうしたデータセンターの顧客層の声に応えるためのソリューションも用意しているという。
仮想シャーシで実質的な管理対象を減らす
1つは、スイッチの「仮想シャーシ化」だ。アグリゲーションスイッチやスパインスイッチとして、ボックス型の製品を使えば、段階的な拡張がしやすいが、台数が増えてくると管理負荷が高まる。一方、シャーシ型スイッチは、HA機能、パフォーマンス、管理性などの点でメリットがあるが、ネットワークの柔軟な拡張は難しい。
そこで、数年前から広まってきた機能が、仮想シャーシだ。複数のスイッチをあたかも1台のシャーシ型スイッチであるかのように管理できる。拡張も、ラインカードを増設する感覚で実施できる。複数スイッチ間での、レイヤー2／レイヤー3のHA機能により、可用性も向上する。
「スイッチの仮想化」で、無停止のネットワークOS更新を実現する
2つ目は、データセンタースイッチにおける「ネットワークOSの仮想化」だ。ジュニパーの「QFX5100」はハイパーバイザー（KVM）を搭載し、同社のネットワークOSであるJUNOSは、この上で仮想マシンとして動作している。そのメリットは、主に2つある。
まず、スイッチを稼働したままで、ネットワークOSの更新が可能になる。こうした機能は「In-Service Software Upgrade（ISSU）」と呼ばれ、ハイエンドなネットワーク機器にのみ搭載されてきた機能だ。これが、エッジ／リーフスイッチでも使えるようになったことで、止めることのできないデータセンターネットワークのメンテナンス性が向上する。
また、同社および他社の多様なソフトウエアを、スイッチ上で動かすことが技術的には可能だ。これにより、別途サーバーを用意することなく、各種のネットワークサービス／セキュリティ関連ソフトウエアを活用できることになる。
ジュニパーは同様な仮想化を、今後同社の他のネットワーク製品にも展開していくとしている。
APIで、自動化ツールやクラウド基盤と連動させて使う
Puppet、Chef、AnsibleなどのITインフラ構成自動化ツールによるネットワーク機器の構成自動化は、このところ急速に注目されている。これらのツールでは、統一した手法で、サーバー、ネットワーク、ストレージを半自動的に設定できる。ネットワークスイッチも、サーバーと同じやり方で設定できることになる。定義ファイルに基づく仕組みであるため、運用の属人性を回避できるし、変更管理もしやすい。スイッチに障害が発生し、機器を入れ替えた場合でも、前回と同一の定義ファイルを適用することで設定を復元できる。
「1つのOS」、JUNOSをアピール
これまで、データセンターネットワークにおける課題の解決に関する、各種の方法や機能を見てきた。ジュニパーは、同社のネットワーク製品が、JUNOSという共通のOSに基づいており、そのJUNOSが、これらの様々な手法を統合的にサポートしている点が、データセンターのネットワーク運用担当者にとって大きなメリットをもたらすとアピールする。
なぜなら、ネットワーク全体の運用において、基本的にソフトウエア機能・仕様に関しては、機種によって使える機能が違うとか、機能による動作の制限が異なるといったことが（性能や個別機器ごとの機能を除けば）ないからだという。特定の機能を使いたいがために、機器を買い替える必要はない。複数のOSのばらばらなリリースに、対応をせまられることもない。
これは、従来とは多少異なる意味で、「SDN（Software Defined Networking）的」だと表現できる。ソフトウエアとハードウエアが分離し、ソフトウエアは、（少なくとも概念的には）多様なプラットフォームで動作するとともに、相互の接続が容易になるからだ。
これは、同社のサービスゲートウェイ「SRX」の仮想アプライアンス版である「vSRX」にも当てはまる。vSRXはファイアウォールなどのセキュリティ機能を提供する製品だが、JUNOSをベースとしており、CLOS IP Fabricを提供するBGPや、MPLSなど、高度なキャリアグレードのルーター機能を提供する機器としても利用できる。ジュニパーでは、vSRXを通じて、JUNOSの使い勝手の良さとキャリアグレードの機能性を体験して欲しいとしている。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.
提供：ジュニパーネットワークス株式会社
アイティメディア営業企画／制作：＠IT 編集部／掲載内容有効期限：2015年6月30日
ITmediaはアイティメディア株式会社の登録商標です。