構築からトラブルシューティングまで
InfiniBandで変わるデータセンター内通信(後編)

松本直人
仮想化インフラストラクチャ・オペレーターズグループ チェア
さくらインターネット研究所 上級研究員
2011/7/20

 VMwareのインストールと設定

 続いて、VMware vSphere ESXi 4.1に対応したInfiniBandドライバを、Mellanoxのサイトからダウンロードし、インストールを行います。インストール終了後には、ドライバが正常に導入できたかなどを確認しましょう。

# vmware -v
VMware ESXi 4.1.0 build-260247

# cd /opt/
# wget http://mellanox.com/downloads/Drivers/ESX41_MLNX-OFED-1.4.1-2.0.000.zip
# esxupdate --bundle /opt/ESX41_MLNX-OFED-1.4.1-2.0.000.zip --maintenancemode --nosigcheck update
# reboot
ESX41_MLNX-OFED-1.4.1-2.0.000.zipを用いたインストール手順

Unpacking cross_ib-srp_1.4.1-.. ######################################## [100%]
Unpacking cross_mlx4-en_1.4.1.. ######################################## [100%]
Unpacking cross_ib-ipoib_1.4... ######################################## [100%]
:
# esxupdate query
---------Bulletin ID--------- -----Installed----- -------Summary-------
ESX41_MLNX-OFED-1.4.1-2.0.000 2011-06-04T10:22:45 Mellanox OFED Drivers
ドライバインストール状況の確認方法

VMware上での仮想環境の設定

 Scientific LinuxおよびVMwareのInfiniBandネットワーク設定が完了し、機器のインジケーターなどからも正常動作が確認できたら、さっそく仮想環境の構築に入りましょう。

図3 仮想環境の設計プラン

 今回は、VMware ESXi上に作成されるVMに、InfiniBandネットワーク上に構築されたIPoIB(IP over InfiniBand)ネットワークを介して接続できるようにします。

 まず、VMware vSphere ClientからESXiの管理コンソールを開いて、InfiniBand HCAなどが正常に動作しているかを確認しましょう。ここでは接続されたHCAが「vmnic9.p1」として表示されています。

画面1 VMware ESXi上で動作するInfiniBand HCAカードの接続確認

 InfiniBand HCAの動作確認ができたら、その物理アダプタを用いて、仮想スイッチを追加してみましょう。ESXi上での仮想スイッチの追加は、通常のイーサネットNICを用いた場合とまったく同じです。

画面2 InfiniBandインターフェイスの動作を確認する
画面3 InfiniBand HCAを使った物理アダプタを対象とした仮想スイッチの設定

SL6# ping 10.0.0.1                                            ※Scientific Linux上からESXi上の仮想マシンへping確認
PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data.
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.182 ms

 仮想マシンをESXi上にインストールしてIPアドレスを設定すれば、すべて完了です。上記のように、pingで疎通確認ができれば、QDR 40Gbps IP over InfiniBandネットワーク上で自由に仮想マシンを動作できます。

Scientific Linux 6.0でのトラブルシュートと動作確認

 イーサネット環境と同じく、InfiniBand環境でも、動作確認にはいくつかのテクニックが必要になります。ここでは各種コマンドを見ていきましょう。

 IPアドレスの設定状況を確認する場合には、ip addrコマンドが有効です。InfiniBandの場合、とても長いアドレスが付与される点や、MTUが初期値では2044に設定されている点などが確認できると思います。

SL6# ip addr
5: ib0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 2044 qdisc pfifo_fast state UP qlen 256
link/infiniband 80:00:00:48:fe:80:00:00:00:00:00:00:00:02:c9:03:00:10:c3:29
brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
inet 10.0.0.3/24 brd 10.10.10.255 scope global ib1
valid_lft forever preferred_lft forever
ip addrコマンドの実行例

 InfiniBand HCAの設定状況を確認するには、ibstatコマンドが有効です。現在使われているカードのファームウェアのバージョンや物理アダプタの接続状況、リンクスピードなどが確認できます。

# ibstat
CA 'mlx4_0'
        CA type: MT26428
        Number of ports: 2
        Firmware version: 2.8.600
        Hardware version: b0
        Node GUID: 0x0002c9030010c328
        System image GUID: 0x0002c9030010c32b
        Port 1:
                State: Active
                Physical state: LinkUp
                Rate: 10
                Base lid: 8
                LMC: 0
                SM lid: 8
                Capability mask: 0x0251086a
                Port GUID: 0x0002c9030010c329
                Link layer: IB
ibstatコマンドの実行例

VMware ESXi 4.1でのトラブルシュートと動作確認

 Scientific Linux同様に、VMware ESXi上でも、InfiniBandの動作確認用のコマンドがいつくか利用可能です。通常のESX管理用コマンドと併用することで、より的確に問題点を洗い出せるでしょう。

# uname -a
VMkernel ESXI41MLX4IB-2 4.1.0 #1 SMP Release build-260247 May 18 2010 16:41:04 x86_64 unknown
# ibstat
CA 'mlx4_0'
        CA type: MT0x0000673c
        Number of ports: 2
        Firmware version: 2.8.600
        Hardware version: b0
        Node GUID: 0x0002c9030010c360
        System image GUID: 0x0002c9030010c361
        Port 1:
                State: Active
                Physical state: LinkUp
                Rate: 10
                Base lid: 9
                LMC: 0
                SM lid: 8
                Capability mask: 0x02510868
                Port GUID: 0x0002c9030010c361
VMware ESXi上でibstatコマンドを実行した例

# lspci | grep Mellanox
000:001:00.0 Serial bus controller: Mellanox Technologies MT25204 [InfiniHost III Lx HCA] [vmnic2]
000:009:00.0 Serial bus controller: Mellanox Technologies MT26428 [ConnectX VPI - 10GigE / IB QDR, PCIe 2.0 5GT/s] [vmnic3]
PCI デバイスを表示するlspciコマンドの実行例

# esxcfg-nics -l
Name      PCI        Driver      Link Speed     Duplex MAC Address       MTU    Description
vmnic9.p1 0000:09:00.00 ib_ipoib    Up  10000Mbps Full   00:02:c9:10:c3:61 1500   Mellanox Technologies MT26428 [ConnectX VPI - 10GigE / IB QDR, PCIe 2.0 5GT/s]
NICのリンク状態に関する情報を表示するesxcfg-nicsコマンドの実行例

 その他、仮想マシンの動作確認などは、通常のVMware vSphere Clientに備わっているツールを通常と同じように使い、状況に応じたトラブルシュートを行うとよいでしょう。

画面4 仮想マシンの状況は、VMware vSphere Clientに備わるツールで確認できる


InfiniBandで変わるデータセンター内通信(後編)
  56Gbpsも見えてきた、InfiniBandを巡る最新動向
40Gbps IP over InfiniBand環境のススメ
Scientific Linux 6.0のインストールと設定
VMwareのインストールと設定
VMware上での仮想環境の設定
Scientific Linux 6.0でのトラブルシュートと動作確認
Mware ESXi 4.1でのトラブルシュートと動作確認
  InfiniBandネットワークのトラブルシュート
Wiresharkで通信を可視化
SCSI RDMA Protocol対応ストレージにも要注目
「Master of IP Network総合インデックス」


Master of IP Network フォーラム 新着記事
@ITメールマガジン 新着情報やスタッフのコラムがメールで届きます(無料)

注目のテーマ

Master of IP Network 記事ランキング

本日 月間