構築からトラブルシューティングまで
InfiniBandで変わるデータセンター内通信（後編）
松本直人
仮想化インフラストラクチャ・オペレーターズグループ チェア
さくらインターネット研究所 上級研究員
2011/7/20
10年以上前から存在していた「InfiniBand」が、ここにきて、データセンターでのサーバ間通信を担う技術として急速に注目を集めるようになりました。その特徴と基本的な設定方法を紹介します。（編集部）
前編の記事を公開した後に、東日本大震災が発生しました。お亡くなりになられた方々やご遺族には心よりのお悔やみを、またすべての被災者の皆さまには心よりお見舞い申し上げます。そして、復旧に尽力されたすべての皆さまにお礼申し上げます。
56Gbpsも見えてきた、InfiniBandを巡る最新動向
現在普及しているInfinband規格がQDR 40Gbpsですが、その帯域を超えるInfinband規格であるFDR（Fourteen Data Rate）56Gbpsのシステムが、いよいよ製品出荷に向けて動き出しました。海外のカンファレンスでもデモンストレーションが行われるなど、活発な動きを見せています。
FDR HCAカードは、PCI Express 3.0対応により、現在のPCI Express 2.0対応のQDR HCAカードよりも性能面が改善されています。PCI Express 3.0のマザーボードもComputexTAIPEI2011で発表されるなど、コンピュータシステム自体の新規格への移行も、いよいよ進みそうです。
 |
| 図1 InfiniBand高速化のロードマップ（出典：OpenFabrics Alliance） |
また、7月22日に開催されるVIOPS06 WORKSHOPでもInfiniBand技術が取り上げられるなど、盛り上がりを見せてきています。
40Gbps IP over InfiniBand環境のススメ
前編でも、10ギガビットイーサネット（10GbE）機器に比べ、InfiniBandネットワーキング機器の価格が低価格であることをお話しました。事実最近になって、QDR 40Gbps HCAカードやスイッチの価格が、企業でも十分に選択できる範囲に落ち着いてきました。
そこで後編では、3台のコンピュータを1台のInfiniBandスイッチに接続し、QDR 40Gbps環境でIP over InfiniBandネットワークを構築する手順を説明してみましょう。
 |
| 図2 IP over InfiniBandネットワークの設計プラン |
今回は、VMware ESXi 4.1とScientific Linux 6.0を利用します。いずれもInfiniBand QDR 40Gbps HCAのドライバがリリースされており、筆者の環境でも十分に動作確認が行われているものです。
■アダプタとケーブルとスイッチの形状
InfiniBandネットワークを構成する場合、イーサネットとはまったく形状が異なる機器を使います。基本的な考え方はイーサネットと同じですが、1つひとつの機器形状が異なりますので注意が必要です。
 |
 |
 |
InfiniBand HCAカード |
QSFP+ケーブル |
QDR InfiniBandスイッチ |
特に、InfiniBandでは、銅線ケーブルを使う場合は通信距離が15メートルもしくは7メートルに制限される点に注意が必要です。これ以上通信距離を伸ばしたい場合には、QSFP＋光ケーブルを用いるとよいでしょう。これら光ケーブルでは数メートルから数キロメートルまで、自由に選択可能です。
システム設備との距離をよく考慮した上で物理設計を行うといいでしょう。
Scientific Linux 6.0のインストールと設定
今回はScientific Linux 6.0に対応したInfiniBandドライバを、Mellanoxのサイトからダウンロードして使います。ISO形式で提供されたイメージをCD-R/DVD-ROMなどで焼き、システムにマウントした形で利用しましょう。
|
|
| MLNX_OFED_LINUX-1.5.2-2.1.0-rhel6.isoを用いたインストール手順 |
InfiniBandネットワークを構成する際には、ネットワーク中に、1つ以上のSubnet Managerが存在することが必須条件です。今回は、Scientific Linux上でOpenSM（オープンサブネットマネージャ）を稼働することで、これを実現しています。
物理的に接続したHCAやスイッチなど、InfiniBandネットワーク機器のインジケーターに変化があることを確認してください。HCAであれば「緑・橙」が同時点灯していれば、またスイッチでは「緑・橙」もしくは「緑」が点灯していれば正常動作しています。
これらインジケーターの意味については、各ベンダのマニュアルを参照してください。
 |
 |
→ |  |
HCAとのケーブル接続完了 |
OpenSM起動 |
||
InfiniBand Network機器のインジケーター確認 |
|||
 |
 |
「Master of IP Network総合インデックス」 |
- 完全HTTPS化のメリットと極意を大規模Webサービス――ピクシブ、クックパッド、ヤフーの事例から探る （2017/7/13）
2017年6月21日、ピクシブのオフィスで、同社主催の「大規模HTTPS導入Night」が開催された。大規模Webサービスで完全HTTPS化を行うに当たっての技術的、および非技術的な悩みや成果をテーマに、ヤフー、クックパッド、ピクシブの3社が、それぞれの事例について語り合った - ソラコムは、あなたの気が付かないうちに、少しずつ「次」へ進んでいる （2017/7/6）
ソラコムは、「トランスポート技術への非依存」度を高めている。当初はIoT用格安SIMというイメージもあったが、徐々に脱皮しようとしている。パブリッククラウドと同様、付加サービスでユーザーをつかんでいるからだ - Cisco SystemsのIntent-based Networkingは、どうネットワークエンジニアの仕事を変えるか （2017/7/4）
Cisco Systemsは2017年6月、同社イベントCisco Live 2017で、「THE NETWORK. INTUITIVE.」あるいは「Intent-based Networking」といった言葉を使い、ネットワークの構築・運用、そしてネットワークエンジニアの仕事を変えていくと説明した。これはどういうことなのだろうか - ifconfig ～（IP）ネットワーク環境の確認／設定を行う （2017/7/3）
ifconfigは、LinuxやmacOSなど、主にUNIX系OSで用いるネットワーク環境の状態確認、設定のためのコマンドだ。IPアドレスやサブネットマスク、ブロードキャストアドレスなどの基本的な設定ができる他、イーサネットフレームの最大転送サイズ（MTU）の変更や、VLAN疑似デバイスの作成も可能だ。
 |
||
|
||
|
注目のテーマ
Master of IP Network 記事ランキング
- 大林組、ローカル5Gの「空間カバー力」と「高速ハンドオーバー」を生かし、ケーブルクレーンの自律運転を実現
- 2025年の企業ネットワークは「ワイヤレスの高度活用」と「電話の革新」に注目
- 楽天モバイルの衛星通信サービスを支えるAST SpaceMobileとは
- 貴社のメール送信用IPアドレスが汚れる理由――レピュテーションを高めるウォームアップの5ステップ
- 「AI」でベンダー依存脱却へ、セブン＆アイに学ぶ企業ネットワークでのAI活用
- 「メールが届かない」事態を避けるための送信要件の確認と送信用インフラ選定の注意点
- SIM内蔵PCを3100台 静岡銀行がSASEで統合した新OA基盤、最大の特徴とは
- 実は「メールが届かない」問題にはドメイン名も影響する――ドメインレピュテーションの基本とGmail送信者ガイドラインの要件
- 貴社で「メールが届かない」問題が起こる理由――メール送信／受信の基礎知識
- 確実にメールを届けるためのSMTPサーバ設定の基本――Postfixの利用パターン3つ、main.cfの主要項目、セキュリティ設定
- 楽天モバイルの衛星通信サービスを支えるAST SpaceMobileとは
- 確実にメールを届けるためのSMTPサーバ設定の基本――Postfixの利用パターン3つ、main.cfの主要項目、セキュリティ設定
- 大林組、ローカル5Gの「空間カバー力」と「高速ハンドオーバー」を生かし、ケーブルクレーンの自律運転を実現
- 「AI」でベンダー依存脱却へ、セブン＆アイに学ぶ企業ネットワークでのAI活用
- 次世代AIデータセンターの能力を最大化？ 1心当たり最大106.25Gbpsの伝送が可能な光ファイバー技術を慶應義塾大学が開発
- SIM内蔵PCを3100台 静岡銀行がSASEで統合した新OA基盤、最大の特徴とは
- 貴社のメール送信用IPアドレスが汚れる理由――レピュテーションを高めるウォームアップの5ステップ
- 貴社で「メールが届かない」問題が起こる理由――メール送信／受信の基礎知識
- 2025年の企業ネットワークは「ワイヤレスの高度活用」と「電話の革新」に注目
- 高速性や低遅延ではない、九州電力がローカル5G「実用化」で最重視した着眼点とは？
転職／派遣情報を探す
