さくらインターネットがデータセンター間接続で目指したものとは：古河電工のルータを採用

さくらインターネットはマルチテナント対応のデータセンター間の接続で、同社サービスの価値を高めている。同社の取り組みを、古河電工のルータ採用の理由とともに紹介する。

[PR／＠IT]

　さくらインターネットは、2010年ごろから「データセンターのプラットフォーム化」を進めてきた。一言でいえば、各顧客が同社の提供するサーバ系サービスを自由に組み合わせ、仮想的に自社のデータセンターを構築できるようにする取り組みだ。

さくらインターネット研究所上級研究員の大久保修一氏

　さくらインターネットは、「さくらのレンタルサーバ」「さくらのマネージドサーバ」「さくらのVPS」「さくらのクラウド」「さくらの専用サーバ」、そしてハウジングと、6種のサーバサービスを提供してきた。このうち、顧客にルート権限を提供しないレンタルサーバとマネージドサーバを除き、4種のサービスについては全て、各顧客専用の論理ネットワークセグメントにつなぎ込めるようにした。これを「ハイブリッド接続」と呼んで提供している。

　このネットワークセグメントは、他の顧客からは完全に論理的な分離がなされている。従って、各顧客は、さくらの仮想サーバおよび物理サーバのリソースを調達し、このネットワークセグメントに参加させるだけで、事実上ソフトウェア定義の自社データセンターを構築できる。

　主要パブリッククラウドサービスで、論理ネットワークセグメントを構築できるところは多い。だが、さくらインターネットの場合、仮想サーバしかないようなサービスに比べ、はるかに幅広いITリソースの選択肢から、動かしたいアプリケーションに応じて選択し、組み合わせられる。例えばデータベースについてはハウジングで大容量メモリやPCIフラッシュを搭載した高性能サーバを構築、フロントエンドのWebサーバについてはクラウドを使うなど、各顧客が自らのニーズに基づいて自由に設計し、運用できる。

さくらインターネットは、顧客別に4種のサービスをつなぐプライベートネットワーク機能を提供している。これを「ハイブリッド接続」と呼んでいる

　さくらインターネットは当初、石狩データセンター内で、上記のような複数サービスにまたがる顧客単位の論理ネットワーク構築機能を提供した。データセンター間接続（以下、DC間接続）は、この延長線上にある。

　さくらインターネットは、もともと東京のデータセンターでさまざまなサービスを提供してきた。石狩と東京は200Gbps以上のIPバックボーンで結んでいる。一方、「さくらのクラウド」については当初、石狩のみで提供。その後2015年4月に、同クラウドサービスの東京リージョンを開設した。これをきっかけに、DC間にまたがるハイブリッド接続を実現することになった。

　さくらインターネット研究所上級研究員の大久保修一氏は、次のように説明する。

　「さくらのクラウド東京リージョンの開設に当たっては、『容易なディザスタリカバリ（DR）や遠隔バックアップ』『複数拠点でアプリケーションをアクティブ―アクティブの構成で動かすことによるコスト効率向上』『ユーザーに近い地点でのフロントエンドサーバの稼働』『サービス品目間の容易な移行』など、多様なユースケースを想定しました。そこで、石狩と東京のデータセンター間を単純に接続するだけでなく、これらのデータセンターにまたがって各顧客専用のレイヤ2空間を提供できる必要がありました」

　これを実現するため、さくらのクラウド開設時に採用したのは「EtherIP」という技術。各データセンターのルータで、イーサネット（レイヤ2）のトラフィックをIP（レイヤ3）にカプセル化（「トンネリング」とも呼ばれる）して、WAN越しの通信を行う。一方LAN側ポートでは、カプセル化を解いて、各顧客のVLANにつなぐ。

　EtherIPは以前からある技術だが、使い始めると、さくらインターネットのような大規模マルチテナントサービスにとっては運用が難しいことが分かった。

　EtherIPでは、顧客（テナント）の識別子を格納するフィールドが仕様で定義されていない。従って、拠点ルータでは、それぞれWAN側ポートにテナント単位でIPアドレスを割り当てて、テナント単位でトンネリングをしなければならない。さらに、各顧客のVLAN IDとEtherIPによる各顧客のトンネリング用IPアドレスを管理する必要がある。これは、テナントが少数ならいいが、さくらインターネットのように数千単位の組織が利用するサービスでは、管理負荷が大きくなる。

DC間接続におけるEtherIPとVXLAN

　そこで、WAN側のカプセル化では、VXLANを採用することにした。VXLANの仕様には、「VNI」という識別子が用意されている。これを各拠点における同一顧客用のVLAN IDにマッピングすれば、WANポートで各顧客用にIPアドレスを割り振り、各顧客のVLANと紐づけて管理する必要がなくなる。

　さくらインターネットはVXLANを使ったDC間接続機能の開発を古河電工に依頼。古河電工による開発・検証を経て導入。2016年3月には切り替えを全面完了した。現時点では石狩データセンターと東京の3拠点をこれで結んでいる。東京の接続拠点は今後も追加される予定だ。さらに大阪データセンターについても、同様な接続を行うことになっている。

古河電工のルータを採用した理由とは

　データセンター間を接続するWANバックボーンでさくらインターネットが利用しているルータは、古河電工の「FITELnet FX1」だ。大久保氏は、同製品の採用理由について、次のように話している。

　「VXLANゲートウェイ機能を備えたルータは、当時もいくつかありました。当社の場合は、レガシーなIP WANバックボーンを通すため、MTUの関係でパケットの分割と再結合を行う必要がありました。VXLANパケットの分割は仕様に定義されていないため、メーカーの実装に依存します。この機能を当時実装できたのは、古河電工だけでした」

　さくらインターネットが古河電工のネットワーク機器を採用したのは、この時が初めてだった。だが大久保氏は、古河電工の技術力の高さを、以前から評価していたという。

　例えばネットワーク関連の大規模展示会／カンファレンスである「INTEROP TOKYO」では、マルチベンダーの相互接続によって会場ネットワークを構築する「ShowNet」が大きな特徴となっている。こうした場で、古河電工の機器が、新技術に関する参照実装の役割を果たした例を見てきたからだという。

　今回のDC間接続では、半年をかけて検証を実施したが、全く問題がなかったわけではなかった。パケットの流量が一定レベルを超えると、パケット再結合のパフォーマンスが急激に低下するという現象が見られたのだ。

　これに、古河電工のルータ開発部隊は迅速に対処。チューニングを続け、東京リージョン開設までに、さくらインターネットの目標とするパフォーマンスを達成した。

　「難しい要望にも、柔軟に応えてくれました。開発者と直接話ができ、対応してもらえるというのは、大きなメリットでした。また、古河電工のルータには、他社にはない機能が多数実装されています。例えば冗長化では、VRRPは当然ですが、加えてイーサネットレベルで、論理インターフェースの自動切り替えが行える機能があります。こうした他社にない機能実装も、運用現場のニーズに直接対応してきたからこそと考えられます。同様な対応や機能を、今後も拡充してもらいたいと思っています」

ハードウェア、ソフトウェアの品質を高く評価

　さくらインターネットが導入したFITELnet FX1は、2015年4月にサービスインしてから2年近くが経ったが、現在に至るまでノートラブルで動き続けているという。

　大久保氏はあらためて、そのハードウェア、ソフトウェアの品質を高く評価する。

　「ハードウェアはとても堅牢に作られていると思います。ソフトウェアについては、検証で大きな負荷をかけると、どんなベンダーの機器でも不具合が5、6件見つかるのが普通です。電源の再投入や、インターフェースダウン／アップで直るなど、原因が不明のまま終わってしまう不具合もよく見られます。FX1の場合、検証の過程でバグが全く見られませんでした」（大久保氏）

　ルータシリーズ「FITELnet」の開発・製造・保守を行っている古河ネットワークソリューションの事業推進本部 ビジネス推進部 担当課長、村井朋生氏は、次のように話している。

　「当社は国産ベンダーであり、ソフトウェア、ハードウェアともに、日本のお客さまに近いところで設計が行え、そのニーズをきめ細かく反映した製品づくりができることが最大の売りです。ルータの開発では、企業ネットワークや通信事業者サービスで長年培ってきたノウハウを注ぎ込んできました。品質の担保も当社にとっては生命線です。そこで当社では、テスト機器専用のルータOSを開発し、テスター等で検証できない多数のピア接続や性能検証で利用しています。多数ピア接続についてはサーバ上に多数の仮想ルータOSを展開し、性能検証では開発用の製品を対向接続することでスケール検証を行っています」（村井氏）

　古河電工のルータで、長期の無停止稼働は珍しいことではないと村井氏は話す。ある通信事業者では、VPNルータとして使われている同社のルータ約10台が4000日以上、約200台が3000日以上、連続で動いているという。

顧客にとってのメリットをさらに高める取り組み

　大久保氏たちが、今後に向けて古河電工とともに取り組んでいるのは、大規模データセンター運営者の間で注目されるようになってきたEVPN（Ethernet VPN）という技術の活用だ。EVPNは、通信事業者間接続などではデフォルトといえるプロトコルであるBGPを使い、複数のデータセンター拠点間での論理レイヤ2ネットワーク接続を制御するVPN技術。レイヤ2通信のカプセル化にはVXLANやMPLSを使い、BGPで接続拠点内のIPアドレス／MACアドレスの広告をするようになっている。

　「現在のところ、VXLANのコンフィグは静的なもので、今後拡張を進める際には手間が問題になることが考えられます。EVPNを活用すれば、新しい拠点をVPNに参加させるプロセスも自動化できます」（大久保氏）

　現時点で、さくらインターネットの個々のデータセンター内では、既存のVLANを用いている。だが、EVPNを活用して、VXLANをデータセンター内のトップオブラックスイッチまで伸ばし、その設定管理を自動化することも可能だ。これができると、データセンター内外にまたがり、各顧客の論理ネットワークを単一のカプセル化技術で構築できることになり、その運用も大規模化に耐えられるものとなる。既存のVLANとの親和性も高い構成を組める。

　「究極的には、無限のスケール感を実装できればいいと考えています。現在は、VLANの島をVXLANで束ねている形ですが、将来はVXLANをトップオブラックスイッチまで伸ばしていきたいと思っています。すると、VXLANゲートウェイの数が爆発的に増えるので、EVPNのようなコントローラ機能が必須になります」（大久保氏）

　大久保氏は、古河電工と共同で取り組むことで、EVPNについても運用担当者にとって使いやすい実装がなされることを望んでいる。

　さくらインターネットのDC間接続は、ある拠点のストレージを別拠点のアプリケーションがマウントして使うなど、ダウンすることが許されない用途に広く使われるようになっている。FITELnet FX1の品質および安定性と機能強化は、さくらインターネットの顧客による「仮想データセンター」構築を、ますます柔軟なものにしていくことにつながる。

FITELnet FX1とは

　さくらインターネットがDC間接続に採用している「FITELnet FX1」とは、通信事業者にも広く利用されている古河電工のVPNルータシリーズ「FITELnet」の最上位機種。古河電工は、1990年からハードウェアおよびソフトウェアの開発・設計・保守までも一貫して自社で行う純国産ベンダー。企業ネットワークから通信事業者サービスまでを幅広くカバーしており、FITELnet FX1にもそのノウハウが生かされている。

　サイズは1Uとコンパクトながら、例えばIPsecでは収容拠点数最大2万、最高スループットは12Gbpsに達する。IPsec HA機能では、IPsec接続を瞬時に切り替えできる。また、EtherIP、L2TPv3、VXLANに対応し、これらについても最大2万拠点に対応する。多彩なQoS機能を備え、これをレイヤ3だけでなく、中継されるレイヤ2トラフィックにも適用できる。

　FITELnet FX1について詳しくは、こちらをご覧いただきたい。