- PR -

Javaによるサーバ間ファイル同期について

«前のページへ 1|2
投稿者投稿内容
unibon
ぬし
会議室デビュー日: 2002/08/22
投稿数: 1532
お住まい・勤務地: 美人谷　　　　　　　　良回答(20pt)
投稿日時: 2007-10-18 08:33
引用:

Bobさんの書き込み (2007-10-17 14:12) より:
２の処理ではファイルが多くなると当然処理時間が長くなります。
２の処理でもっと効率的なアルゴリズムはないでしょうか？

(以下、アルゴリズム的なことだけにふれ、ファイル同期自体についてはふれないこととします。)

アルゴリズム的には、マージソートと同様のことをするのが、コストが少なくて良いと思います。
http://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%BC%E3%82%B8%E3%82%BD%E3%83%BC%E3%83%88

すなわち、サーバＡとサーバＢのそれぞれのファイル名を一旦ソートしておいて、両者をマージするようなこと(マージする手前まで)をやろうとすれば、おのずと差分を抽出できます。

ただ、CPUのクロックがGHz単位で、メモリーがGB単位で、スクラッチプログラミングがほとんどの現在、あまり細かいことに拘らなくても単純にファイルひとつごとリニアサーチしても「遅い」と言われることはまずないでしょう。
いや、でも本当は拘るべきですけど。

--
unibon {B73D0144-CD2A-11DA-8E06-0050DA15BC86}
yamasa
ベテラン
会議室デビュー日: 2003/02/15
投稿数: 80
投稿日時: 2007-10-18 12:50
引用:

unibonさんの書き込み (2007-10-18 08:33) より:

アルゴリズム的には、マージソートと同様のことをするのが、コストが少なくて良いと思います。
http://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%BC%E3%82%B8%E3%82%BD%E3%83%BC%E3%83%88

すなわち、サーバＡとサーバＢのそれぞれのファイル名を一旦ソートしておいて、両者をマージするようなこと(マージする手前まで)をやろうとすれば、おのずと差分を抽出できます。


うーん、そこまで拘るのはやりすぎかと。
お手軽にやるなら、それぞれのファイル名をHashSetに入れてremoveAll()を呼べば一発ですよね。
a-san
ベテラン
会議室デビュー日: 2004/06/01
投稿数: 53
投稿日時: 2007-10-18 23:22
引用:
１．サーバＡでサーバＢをネットワークドライブに割り当てる。
２．JavaによりサーバＡのディレクトリ内にあるファイルのファ
　　イル名をサーバＢのディレクトリのファイル名と1個1個比較
　　して一致しないものを一覧として保持。
３．２．で保持したものをFTPで転送。

普通に考えれば１と３はネットワークの処理ですが、２はメモリ内の処理なので比べ物にならないぐらい高速です。２がボトルネックになるとは考えにくいです。
具体的に、ファイル数はどれぐらいなのでしょう？
また、実際に試してみて「２が遅い」ことが問題になっているのでしょうか？
Bob
会議室デビュー日: 2006/11/28
投稿数: 16
投稿日時: 2007-10-19 09:33
>具体的に、ファイル数はどれぐらいなのでしょう？
現在、一つのフォルダに2000程度で今後どんどん増えていきます。
しかも比較するフォルダは一つだけではなく、40個以上のフォルダ
を比較していかなければいけません。

>また、実際に試してみて「２が遅い」ことが問題になっているのでしょうか？
２の処理が異常に遅いことは実証済みです。
しかし、HashMapを利用したアルゴリズムを適用したところ
かなり改善されました。

たくさんのご返答どうも有難うございました。
皆様のご意見を参考にして検討させていただきます。
«前のページへ 1|2

スキルアップ／キャリアアップ（JOB@IT）