サーバ間通信の有力な担い手
InfiniBandで変わるデータセンター内通信（前編）

松本直人
仮想化インフラストラクチャ・オペレーターズグループ チェア
さくらインターネット研究所　上級研究員
2011/2/15

InfiniBandネットワークを構築しよう

　それでは具体的にInfiniBandによるシステム構築を行っていきましょう。今回はVMware vSphere ESXiへの導入手順を示します。

　InfiniBandでネットワークを構築する際に必要となるのが、HCAカードとInfiniBandスイッチ、さらにInfiniBand用のケーブルの3つです。

　特にInfiniBandでネットワークを構成する際には、「Subnet Manager（サブネット・マネージャ）」と呼ばれるソフトウェアコンポーネントが、ネットワーク中に1つ以上存在することが必須になります。今回は、このサブネット・マネージャ機能を有しているInfiniBand Switchの導入を前提としています。サブネット・マネージャはInfiniBandネットワーク中で互いのノード情報を交換するなど、システムの根幹を担います。

　InfiniBandケーブルには通常、copperケーブルを用います。短いもので0.5メートル、長いものでも15メートルに制限され、伝送距離の制限がある点に注意をしてください。100メートルないし300メートルという距離を伝送したい場合には、光ファイバー形式となっているInfiniBandケーブルを選択しましょう。これに加えてサーバにはInfiniBand HCAカードを導入し、HCA用のドライバ群を適応していくことで、全体システムの構築が完了します。

　仮想マシンのVMM（Virtual Machine Manager）間でのデータのやりとりにInfiniBand接続を活用することで、広帯域・低遅延のネットワークを利用できるようになり、システム全体としての性能および運用性も向上も望めるでしょう。

図5　VM上での構成

　今回はInfiniBand HCAカードとして、Mellanox社製のものを用います。VMware ESXiのバージョンに対応したドライバをMellanox社のWebサイトから入手をして適応するとよいでしょう。具体的にはVMware vSphere ESXi 4.1.0へのドライバ適応方法は次のようになります。

1. Mellanox社のWebサイトから必要とされるドライバを入手する（今回は「MEL-OFED-1.4.1-375-offline_bundle.zip」を利用します）。
   
   
2. 上記を外部からSSH可能なホスト（今回は10.10.10.10）へ格納します。
   
   
3. ESXiのコンソールへログインし"Troubleshooting Options"を選択し、Enableを確認する。
   

   Enable Local Tech Support Enable Remote Tech Support

   
   
4. ALTとF1キーを押し、ターミナルへログインしドライバを適用し再起動します。
   
   

   Login: root Password: ************* # cd /store/opt/ # scp username@10.10.10.10:/tmp/MEL-OFED-1.4.1-375-offline_bundle.zip . # esxupdate --bundle /store/opt/MEL-OFED-1.4.1-375-offline_bundle.zip    --maintenancemode --nosigcheck update # reboot

動作確認と仮想マシンとの接続

　ESXiのInfiniBandドライバ設定が完了したら、動作を確認しましょう。

　まずはESXiが起動してからインターフェイスのランプが点灯しているかどうかを見ます。Mellanox社製HCAの場合、緑とオレンジの両方が点灯していれば正常動作しています。HCAの詳しい動作確認については、各ベンダのマニュアルをご参照ください。

　続いてESXiのコンソールを開き、［Network Adapters］の［Status］が［Connected］であることを確認してください。複数インターフェイスがある場合などは、InfiniBandインターフェイスを除くケーブルを抜くなどした上で確認作業をするとよいでしょう。

InfiniBandインターフェイスの動作を確認する

　次に、ESXi上でvSwitchを設定します。こちらはイーサネット経由でvSpere Clientを使って行いますので、通常のESXi設定と同じように、vmnicにIPアドレスを付与してからクライアントPCより接続してください。

　接続が完了したら、ESXiホストマシンの［構成］の［ネットワーク］を選択して［ネットワークの追加］を行います。これによりInfiniBand接続されたインターフェイスを使った新しい「仮想スイッチ」を設定することができます。

ESXi上でvSwitchを設定する

　新しい「仮想スイッチ」を作るには、［接続タイプ ●仮想マシン］を選択し、次の［仮想スイッチの作成］では動作を確認したインターフェイス名［vmnic9.p1］を設定します。［ネットワークラベル］には理解しやすい名前を付けると、より管理がしやすくなるでしょう。

　作成中の画面でもお分かりいただけるとおり、InfiniBand接続されたHCAの通信速度は「10000 全二重」と表示されていることに着目してください。

HCAの通信速度が「10000 全二重」と表示されている

　続いて構築を行っていきましょう。複数のESXiホストマシンが用意できている場合には、同様の手順でInfiniBand接続された仮想スイッチを作り、その上で仮想マシンを作成してから相互に通信試験を行ってください。これ以降の処理は、通常のESXi運用とまったく同じになります。管理者として、最も管理がしやすい形で各種設定を行っていくとよいでしょう。

InfiniBand接続された仮想スイッチにESXiホストを接続していく

通常のESXiと同じように疎通確認

　これでVMware vSphere ESXiをInfiniBandの広帯域・低遅延のネットワークで構成する基本的な手順は終わりです。あとはこれをベースに、ご自身の環境に合った規模と方式で導入と設定を行ってみてください。

広帯域化に向けたロードマップ

　InfiniBandは現在も、広帯域化が進められている技術です。現在は40Gbps接続を実現したQDR（Quad Data Rate）のHCAが最高速の状態にあります。しかし2011年から翌年の早い段階で、112Gbpsを実現するFDR（fourteen data rate）に対応するHCAがリリースされるといわれています。

　しかしながら、これだけ広帯域のネットワークインターフェイスを実装できるサーバ側のマザーボードはまだなく、バス接続を実現するにはPCI Express 3.0など次世代技術を適用する必要があります。サーバ分野の技術も日進月歩ではありますので、適宜これら状況を確認しつつ、その時最適なネットワークおよびシステム構成を利用するとよいでしょう。

図6　InfiniBand高速化のロードマップ（出典：OpenFabrics Alliance）

　さて後編では、LinuxでInfiniBandネットワークを利用する方法や応用例などについて紹介していきます。楽しみにお待ちください。

InfiniBandで変わるデータセンター内通信（前編）
	注目集めるInfiniBand InfiniBandとイーサネットの違い
	InfiniBandネットワークを構築しよう 動作確認と仮想マシンとの接続 広帯域化に向けたロードマップ

「Master of IP Network総合インデックス」

＠ITメールマガジン　新着情報やスタッフのコラムがメールで届きます（無料）