HDD 60台、45TBの大規模RAID障害から99.9％のデータ復旧に成功――地域基幹病院の重要なCT画像データはどのようにして救われたのか？：事例から学ぶRAID障害への正しい対処法

重要なデータを格納する場所としてRAIDシステムは、多くの企業や団体で活用されている。一般的に、RAIDで使われているHDDを復旧するのは非常に難易度が高いといわれているが、デジタルデータリカバリーでは、13万件を超える復旧実績を持ち、メーカーや他の復旧サービスが修復不能と判断したものでも復旧に成功してきた。万が一、RAIDに物理障害が発生した場合には、どのような点に注意しておく必要があるのだろうか。デジタルデータリカバリーを運営するデジタルデータソリューションの太田氏、井瀧氏、吉野氏に、実際に対応した大規模RAID障害の事例を交えて話を伺った。

[PR／＠IT]

障害発生、どうしたら……何もせずに、まずは“復旧のプロ”に相談を！

デジタルデータソリューション データ復旧事業部（DDR） 副事業部長 太田高寛氏

　CT（コンピュータ断層撮影）画像データを60台のHDD（約45TB）で構成されたRAIDシステムに格納し、運用を行っていた地域の基幹病院。その病院の保守サービス会社から「デジタルデータリカバリー」に相談の電話が入ったのは、2017年7月の初めごろだったとデジタルデータソリューションの太田高寛氏（データ復旧事業部 副事業部長）は振り返る。

　RAIDシステムの障害に困った保守サービス会社は、システム開発会社の勧めでデジタルデータリカバリーを知り、連絡してきたのだった。

　デジタルデータリカバリー（以下、DDR）は、デジタルデータソリューションが提供する「データ復旧サービス」だ。これまで、RAID復旧実績年間1300件以上（同社調べ）、データ復旧率96.2％（2016年現在 データ納品件数／データ復旧依頼件数 同社調べ）という高い復旧技術で、累積で13万3000件以上（2017年1月時点 同社調べ）、個人・法人を問わず、さまざまなデータ復旧の依頼に対応してきた。

• デジタルデータリカバリー：データ復旧.com

　「DDRでは、24時間365日対応の無料診断・無料相談ダイヤルを開設しています。HDDやRAIDをはじめとしたデータの記憶装置／記憶媒体に問題が発生した際には、すぐにご相談いただくことをお勧めしています。今回の病院様の場合も、当初は私たちに復旧を依頼する目的でお電話いただいたのではなく、ハードウェアメーカーの保証で診断、復旧してもらう前に、絶対にやってはいけない対処や操作、どのように復旧作業を行うのかということを聞きたいというお話でした。そこで、まずはRAIDの構成やトラブルの症状を伺って、注意すべき点やハードウェアメーカーに診てもらった方がよい点などについてアドバイスさせていただきました」（太田氏）

　それから約1カ月後の7月末、再び病院の保守サービス会社から連絡が入った。ハードウェアメーカーでは復旧不能で、新たにRAIDを構成し直す必要があるとの説明を受けたという。その場合、データをバックアップから復旧したり、データを再構築したりしなければならない。最悪、データが失われてしまう可能性もあった。しかし、過去のCT画像データを保全しておくことは法律でも決められており、今後、患者の診察を正確に行うためにもこれらのデータは必要不可欠だ。

　前回の電話で、HDD 60台構成の大規模RAIDであることを知っていた太田氏は、すぐに現地に赴いて調査を開始したという。DDRでは無料の「出張サービス」を行っており、見積もりを行っても契約しなければ出張費を請求されることはない（写真1）。「現地で丸一日かけてハードウェアを診断したり、保守サービス担当者とも対話形式で現状把握を行ったりした結果、60台のHDDのうち4台に物理障害が発生していることが分かりました。見積もりを確認していただき、DDRであれば復旧できる可能性が高いことを理解していただいた上で、発注していただきました」と太田氏は話す。

• RAID・サーバ機器 出張サービス（デジタルデータリカバリー）

写真1　無料出張サービスでは、専門的な機器を使って速やかにHDDの診断が行われる

　病院が保存すべきデータには、短期保存データ（直近3年分）と長期保存データ（5年分以上）があるが、今回は 2011年1月からの長期保存データのRAIDに障害が発生した。長期保存データとはいえ、必要に応じて参照可能になっていなければならない。同病院ではデータのバックアップはしっかり行っていた。しかし、テープバックアップであったため、約45TBのデータを完全にリストアするには、24時間のリストアを1年かけて実施する必要があり、DDRで復旧できなかった場合は、これで作業するしかないと覚悟していたという。実際、以前に障害が発生して必要なデータだけをリストアした際には、半年くらいの時間と手間がかかっている。

　「まずは、しっかりと復旧できる体制でバックアップを取っておくことが非常に重要です。また、障害が発生した場合は、何もせず、私たちのような専門のデータ復旧サービスに相談していただき、できれば症状を確認させていただけるとデータ復旧率は高くなります。DDRの無料出張サービスでは、2時間以内に駆け付け、機器／記憶媒体を診断することが可能です」と太田氏は説明する。

迅速／確実な復旧を望むなら、正確な情報を伝えることが最重要

　病院から60台のHDDを送ってもらったDDRでは、すぐに同じ型のHDDにクローンイメージを作成し、復旧作業を開始した。「60台という大量のHDDを接続してすぐにクローンイメージを作成できるのは、DDRの設備ならではだと自負しています。クローン用のHDDは常にストックされ、さまざまな型番のものが用意されています。DDRの設備を使わなければ、イメージを作成するだけでも時間がかかりすぎて、現実的な復旧は望めないと思います」と太田氏は話す（写真2）。

写真2　多数のHDDであってもスムーズにクローンイメージを作れるような設備と、予備のHDDがDDRには用意されている

　今回の病院の件は「一般的な大規模RAIDシステムの障害復旧よりも、はるかに困難な事例でした」と当時を振り返るのは、デジタルデータソリューションの井瀧義也氏（エンジニアグループ 主任）だ。

　「まず、60台のHDDのうち、約30台が何度も交換されている状態で、データの配置がバラバラになってしまっていたことが問題でした。また、CT画像データが専用のソフトウェアを必要とする特殊なフォーマットであったことも作業を難しいものにしていました」（井瀧氏）（写真3）

写真3　出張診断時の病院のRAIDシステム（画像はイメージです）

　CT画像ファイルは、医療機器メーカー独自のファイル形式となっており、さらに保守サービス会社独自仕様の圧縮がかけられていた。jpgなどの一般的な画像形式の場合は、ファイルのヘッダさえ見つけられれば、簡単なツールでファイルを取り出すことができる。しかし、今回のファイルはヘッダがどこにあるのか分からない上、フォルダ構成まで分からないためにデータの復旧は困難を極めたという。

デジタルデータソリューション データ復旧事業部（DDR） エンジニアグループ 主任 井瀧義也氏

　「ハードウェアメーカーや他のデータ復旧サービスがこのHDDを診断した場合、CT画像ファイルのヘッダが分からないために、“全て破損している”と判断してしまう可能性があると思いました。私たちは、何か特殊なファイル形式が使われているのではないかと考え、しっかりと調査とヒアリングしたことで、独自のファイル形式／圧縮形式が使われていることが分かったのです」と井瀧氏は話す。

　また、RAIDの構成が事前に伝えられたものと異なっていたことも、復旧作業工数を増やした要因になったという。当初、「RAID 6＋0」で構成されていると聞かされていた井瀧氏は、いくら分析してもあるはずの場所にデータがないことを不審に思い、再度、保守サービス会社に仕様書を送ってもらうことで、RAID 6とJBOD（Just a Bunch Of Disks）を組み合わせたような「RAID 6＋JBOD（Just a Bunch Of Disks）」の構成になっていることを確認できたという。

　RAID 0は、複数のドライブにデータを分散して書き込むことで、同時に複数のドライブから高速に読み込める構成。一方、JBODは、複数のHDDを1つの大容量ストレージとして使えるように、基本的には同一HDD上にデータを書き込んでいるため、データの配置が異なってしまうのだという。

　「データの配置が複雑なRAIDで、1TBだけでも2億個程あるバイナリデータを見ながら、データ領域を的確に把握できるのは、DDRのエンジニアの中でも経験豊富な一部のエンジニアに限られます。どのようなパターンでデータが並んでいるかに気が付き、そのデータが何を示しているかの仮説を立てて試行錯誤しながら復旧していく作業は、幅広い知識と経験がなければできません。私たちも、大規模なRAIDシステムや復旧が難しい案件には、経験と実力のあるエンジニアで対応します。今回の病院様の事例では、RAID復旧実績1300件以上のエンジニアが対応し、復旧を成功させました。さらに弊社では、高度なエンジニアを増やすべく、技術ランクに6段階に分けて、より高い技術力を備えられるように技術習得を進めています」と太田氏は話す。

　ファイル形式や圧縮方法、RAID構成の把握などで工数はかかったが、結果的に今回の事例では約1カ月で99.9％のデータ復旧に成功した井瀧氏は説明する。

　今回、DDRに復旧を依頼した保守サービス会社も「適正なコストでデータを復旧でき、対応が確実、丁寧だったことに感謝している」「プロフェッショナルなデータ復旧サービスがあることが心強い」とコメントしている。

　また、太田氏は「もちろん、私たちも診断時にヒアリングは行いますが、システムの仕様などはできるだけ正確に伝えてもらえれば、後の作業がスムーズになります。データ復旧のために必要がないと思われる情報でも、話してくれるとありがたいですね」と話している。

データ復旧に“さすが”の一言――デジタルデータリカバリーを利用した保守サービス会社

――障害が発生した時には、どのようにお困りでしたか？

　病院のデータには「短期保存データ」（直近3年分）と「長期保存データ」（5年分以上）があるのですが、今回の障害は2011年1月からの長期保存データのRAIDで発生しました。長期保存データとはいえ、必要に応じて参照できなければなりません。テープに2次バックアップをとっていましたが、やはり動的に必要なデータを戻すには時間がかかります。データの保全は法律上もガイドラインとして定義されており、参照の遅れは診断に影響が出るため“即時復旧”が必須でした。

――メーカーで復旧できなかった時の心境を教えてください。

　病院での診断に必要なデータでしたので「ペナルティーを課されてもやむなし」の心境でした。

――なぜ当社を選んだのか教えてください。

　日頃、ハードウェアの提案、製造をお願いしているインテグレーターからの推薦でした。

――もし復旧できていなければ、どうなっていましたか？

　1年間かけてバックアップしたテープからの戻し作業を24時間実施することになっていました。テープは大容量バックアップには向いていますが、必要なデータを素早く取り出すという処理には向いていません。また、保管状態によっては1TB／Tapeのデータが呼び出し不能になります。

――復旧コストについてはどうでしたか？

　診断時間とテープから戻す作業時間、人日を考慮すると、明らかにコスト的には適正だと思います。

――データを復旧できた時の心境を教えてください。

　データが見えるようになったときは“さすが”の一言でした。RAIDではなく、ファイルとして見える形で復旧していただいたのは、非常に助かりました。ファイルとして扱えるようになったことで、復旧先のアイデアも広がりました。

――最後に、「デジタルデータリカバリー」を利用した感想をお聞かせください。

　太田様をはじめ、現場作業でも非常に丁寧に対応していただき、感謝しております。正直、追加のコスト、トラブルはない方がよいのですが、デジタルデータリカバリーのような“復旧のプロ”の存在を知っていると心強いです。

新たに開始された「データ復旧保証サービス」でさらなる安心を

デジタルデータソリューション データ復旧事業部（DDR） マーケティンググループ 広報 吉野功人氏

　「今回の事例では、余分なコストが発生するのを避けるため、最初にハードウェアメーカーの保証の範囲内で解決しようと考えられたのは理解できます。しかし、そうしたことで結果的にはデータが復旧するまでに、2カ月以上かかってしまうことになりました。最初からDDRにお任せいただければ、その半分の1カ月で復旧できたはずですから」と話す太田氏は、このようなコストの障壁を下げるために、データ復旧保証サービス「デジタルデータワランティ」（以下、DDW）という新たなサービスを開始していると説明してくれた。

• デジタルデータワランティ：データ復旧保証サービス

　DDWは、月額の定額料金を払うことで、万が一の障害の際にDDRによるデータ復旧を無料で受けられるサービスで、いわば“データ保険”とも呼べるサービスだ（図1）。

図1　「データ復旧保証サービス」とは、高額になりがちなデータ復旧費用を月額低額の保証料金でカバーするサービス《クリックで拡大します》

　「企業のPCやサーバ、HDDはもちろん、個人のスマートフォンやHDDレコーダー、USBメモリまで、さまざまな記憶媒体に対応したサービスで、非常に低価格で利用できることが特徴です。利用する個人や企業によってDDWの使い方はさまざまだと思いますが、例えば今回の場合、もしDDWを使っていれば、メーカーに頼らずに最初に相談をいただいたときに、私たちに復旧を任せていただけることができたのではないでしょうか」とデジタルデータソリューションの吉野功人氏（DDR事業部 マーケティンググループ）は話す。

　また、最後に吉野氏は、次のように話している。「DDWは、企業のシステムを管理し、大事なデータを預かっている保守メーカーの方々が導入して、サービスとして提供すべきだと考えています。実力の高い保守メーカーであっても、HDDの物理障害を修復するのは、非常に困難な作業になります。私たちのようなデータ復旧の専門企業と手を組んで、サービスとしてデータ復旧保証も提供できれば、企業も安心してシステムの保守を任せられるのではないでしょうか」。