- PR -

巨大なサイズのファイルを簡単に作る方法について

1
投稿者投稿内容
まめ
会議室デビュー日: 2002/06/14
投稿数: 15
投稿日時: 2002-11-27 22:06
Windows TIPSランキングで一位にある方法を試してみました。

fsutilで作成した2MBのファイルをWAN経由でコピーすると50秒。
同じくfsutilで作成した10MBのファイルをコピーするとほぼ5倍の260秒。

ここまではフムフムだったのですが、試しに実際のパワーポイントのファイル
2MBで測定すると、5分20秒もかかります。
(3回ほど計り直しましたが大きな違いはありません)
なぜなんでしょうね? 
ネットワークの性能としてはどちらを採用すればよいのでしょうか?

おそらく、元記事にある下記の記述が関係してるのでしょうが、「必要ならばいったん別のファイルをコピーしてから」の意味が理解できないんですよ。

------------------------------------------------------------------------------
注意:すでに述べたように、NTFS上にファイルを作成した場合は、実際にはディスクへのアクセスを行うことなくファイル(ゼロ・データ)を読み出すことに注意していただきたい。そのため、必要ならばいったん別のファイルをコピーしてから(これならば確実にディスクからの読み出しが行われる)、測定に使うとよい。
------------------------------------------------------------------------------
井上孝司
ぬし
会議室デビュー日: 2001/09/08
投稿数: 668
お住まい・勤務地: 東京都
投稿日時: 2002-11-27 22:21
井上です。

おそらく、対象ファイルとは別のファイルを先に読み出すことで、リード・キャッシュをクリアすることを狙っているのではないかと思われます。
Uchikoshi
@ITエディタ
会議室デビュー日: 2001/07/27
投稿数: 197
投稿日時: 2002-11-28 01:54
 こんばんは、まめさん。
引用:

まめさんの書き込み (2002-11-27 22:06) より:
fsutilで作成した2MBのファイルをWAN経由でコピーすると50秒。
同じくfsutilで作成した10MBのファイルをコピーするとほぼ5倍の260秒。


 これからネットワークの帯域を求めると、2MBytes÷50secで 約 40Kbytes/sec でしょうか。
引用:

ここまではフムフムだったのですが、試しに実際のパワーポイントのファイル
2MBで測定すると、5分20秒もかかります。
(3回ほど計り直しましたが大きな違いはありません)
なぜなんでしょうね? 


 こちらの場合は 2MBytes÷320secで 約 6.4Kbytes/sec でしょうか。

 速度からすると、たぶん電話回線もしくはISDN(もしくはそのような速度のデジタル専用線)
であると推測されますが、この程度の速度だと、ディスクの読み出し速度による
通信速度の低下はないと思われます(ディスクのほうがはるかに速く、通信速度の
方が完全にボトルネックになっている)。
引用:

ネットワークの性能としてはどちらを採用すればよいのでしょうか?


 速度がこれだけ差があるのは、たぶん通信プロトコルによる圧縮が働いている
からではないでしょうか? 例えば専用線ルータには、機種によってはハードウェア
圧縮機能(STACなどが著名)が付いていて、特に同じ(ような)データが続くような
場合には見かけ上の通信速度が向上します。

 fsutilで作成したファイルは、実質的には0の連続ですので、圧縮率は最高になる
でしょう。それに対してパワーポイントファイルは、0の連続ではないので、あまり
圧縮ができず(いくらかは圧縮できるはず)、そのような結果になったと思われます。

 ただ、STACだと確か最大でも4倍くらいまでだったような気もしますので、
この場合はPPPのVJ圧縮などが効いているのではないでしょうか。

 いずれの値も、実際のネットワークの速度ですので、正しいものとして
扱うべきだと思われます。ただしどのようなデータを使ったかという
ただし書きを付けるのを忘れないようにする必要があるでしょう(ベンチ
マークの結果というのは、いつのまにか前提条件などが抜けてしまって、
結果の数値だけが一人歩きすることが多いので)
念を入れるならば、完全なランダムデータを用意して測定するなどの考慮も
必要だと思われます。
引用:

おそらく、元記事にある下記の記述が関係してるのでしょうが、「必要ならばいったん別のファイルをコピーしてから」の意味が理解できないんですよ。
------------------------------------------------------------------------------
注意:すでに述べたように、NTFS上にファイルを作成した場合は、実際にはディスクへのアクセスを行うことなくファイル(ゼロ・データ)を読み出すことに注意していただきたい。そのため、必要ならばいったん別のファイルをコピーしてから(これならば確実にディスクからの読み出しが行われる)、測定に使うとよい。
------------------------------------------------------------------------------


 これは、「fsutilで作成されたファイルを読み出そうとしても、
実際にディスクからデータ(セクタ)を読み出すことなく、0データを返す」という
ことをいっているつもりです。ですので、ディスクI/Oまで含めた総合的な性能を
測定したければ、実際にディスクから読み出すように、まずは(コピーで)データを
ディスクに書き込んでください、という意味です。しかしネットワークの部分
だけを測定したいのならば、これは逆に好都合なはずです。状況や測定の目的
などに応じて、使い分けていただきたいと思います。
Uchikoshi
@ITエディタ
会議室デビュー日: 2001/07/27
投稿数: 197
投稿日時: 2002-11-28 22:25
 すいません、ちょっと間違えました。VJ圧縮はTCPやIPのヘッダ部分
のみを圧縮するので、今回のように通信速度が何倍にもなったりしないはずです。
となると、やっぱりSTACのような圧縮機構が機能していると考えるしか
ないと思われますが、……。これ以上は、ルータや回線などの詳細が分からないと、
コメントのしようがないです。すいません。
まめ
会議室デビュー日: 2002/06/14
投稿数: 15
投稿日時: 2002-11-29 17:04
執筆者から回答いただけるとは恐縮至極です。

ちなみに回線は64kbps専用線(NTTのデジタルリーチ)で
ルータはYAMAHAのRT103iです。
取り説やカタログ見てみましたが圧縮についての項目が見当たらずでした。

>2MBytes÷50secで 約 40Kbytes/sec でしょうか。
この時点で、圧縮されていることに気づくべきでしたね(^^;

>2MBytes÷320secで 約 6.4Kbytes/sec
圧縮率の低いデータですと、回線速度がそのまま反映されますな。当たり前ですが。

余談ですが、このたびこれをBフレッツ光でインターネットVPNにおきかえた次第です。
ランニングは下がるは、スピードは上がるは。。
Uchikoshi
@ITエディタ
会議室デビュー日: 2001/07/27
投稿数: 197
投稿日時: 2002-11-30 03:21
 こんんばんは、まめさん。

>ちなみに回線は64kbps専用線(NTTのデジタルリーチ)で
>ルータはYAMAHAのRT103iです。
>取り説やカタログ見てみましたが圧縮についての項目が見当たらずでした。

 確かにこの機種はハードウェア圧縮機能などは持ってなかったような気がしましたが、

RT200i/RT140[iep]/RT103i Rev.4.00.02 リリースノート
http://www.rtpro.yamaha.co.jp/RT/docs/relnote/Rev.04.00/relnote_04_00_02.txt

によると、

『Rev.4.00.02はRev.3.01.11の諸機能を引き継ぎつつ、
 NATディスクリプタやFR圧縮機能などの新しい機能を
追加したリビジョンです。
 ………
 FRデータ圧縮機能は、FR上の通信において、送信側がデータを圧縮し受
 信側がそれを展開することにより、通信負荷を軽減する機能である。
 本機能の実装はFrame Relay ForumのFRF.9(*1)に基づいており、特に、
 FRF.9のモード1に対応している。データを圧縮するためのアルゴリズム
 にはStac LZSを用いる。(以下省略)』

とのこと。ファームを新しくしているのなら、たぶんこれが利いているのではないでしょうか。
そうでなければ……、謎です。

>>2MBytes÷320secで 約 6.4Kbytes/sec
>圧縮率の低いデータですと、回線速度がそのまま反映されますな。当たり前ですが。

いまいち最高速度ではないような気もしますが、……、やっぱり謎です(^^;;)

>余談ですが、このたびこれをBフレッツ光でインターネットVPNにおきかえた次第です。
>ランニングは下がるは、スピードは上がるは。。

弊社も似たようなものですが、とにかくありがたいです。

でもさらなる希望をいえば、100Mbpsで月1万円なら、
1Mbpsでいいから、月100円というのを作ってもらいたいものですなぁ。自宅にはこれでも十分!
1

スキルアップ/キャリアアップ(JOB@IT)