- PR -

システム構築で悩んでいます。

投稿者投稿内容
ぱるん
会議室デビュー日: 2004/08/02
投稿数: 4
投稿日時: 2004-08-02 17:43
はじめまして。今度、あるシステムを作ろうと考えています。
そのシステムとは、
「Aサーバー(Win2KServer)」にあるデータファイルを、
「Bサーバー(Win2KServer)」に転送後、Bサーバー上の
データベースにロードするという仕組みです。

このシステムを構築する方法として、
方法1
A上からBにFTPし、RSHやSSHなどのリモート起動コマンドを
A上からBに対し実行し、ロード用コマンドを実行させる。

方法2
A上からBに対しFTP後、処理パラメータを含んだファイルを
Bに飛ばし、Bは常駐プログラムにより、ファイルを感知し、
ファイルを読み、処理を実行する

という方法などがあると思うのですが、皆さんでしたら、
どんな方法で、このシステムの構築を達成いたしますでしょうか。
ご教授よろしくお願いいたします。
はにまる
ぬし
会議室デビュー日: 2003/12/19
投稿数: 969
お住まい・勤務地: 誤字脱字の国
投稿日時: 2004-08-02 18:19
はにまるです。

1.データの業務的性質を把握していますか?
2.データの発生タイミングを把握していますか?
3.ジョブスケジュールの前後に関連する処理はありませんか?
4.運用要件(障害関連)は定めてないのですか?
5.両サーバとも自分管理配下のサーバですか?

今、思いつく確認ポイントは上記5つです。

また仰るとおり手段は幾つかあり、どれも動くでしょうが

・障害発生時にエラーハンドリングが出来る事(※人に伝わる事)
・障害発生時にトレースが出来る事。(データ障害含む)
・障害発生時の再実行性が保障され、容易に出来る事

を考慮すると宜しいかと思います。
情報不足な為、参考まで。
ぱるん
会議室デビュー日: 2004/08/02
投稿数: 4
投稿日時: 2004-08-02 19:39
はにまる様ご返信ありがとうございます。

1と2の要件についてですが、
 データはDWHとしてエンドユーザーが日中に見るために
 使用します。Aサーバーにくるデータは夜間AサーバーにHOSTより
 転送されてきます。

3 基本的にはHOSTからのジョブスケジュールにより、データ
  FTP後に、RSHによりAサーバー上のコマンドを実行します。
  Aサーバー上ではプログラムを起動させ、Bサーバーへの
  プロセス起動を行うつもりでいます。
4 障害対策としては予算の都合上、バックアップソフトによる
 復旧を使用する予定です。
5 両サーバーとも遠距離にあるサーバーのため、一度インストール
 設定後はリモートツールに管理を行う予定です。

という感じで、大体の処理詳細は決めているのですが、
もっと、おおまかに、サーバー間の処理でいい方法がありませんでしょうか。
よろしくお願いいたします。

Cluster
ぬし
会議室デビュー日: 2003/03/06
投稿数: 289
お住まい・勤務地: 大阪
投稿日時: 2004-08-02 20:48
引用:


という方法などがあると思うのですが、皆さんでしたら、
どんな方法で、このシステムの構築を達成いたしますでしょうか。
ご教授よろしくお願いいたします。



(コスト的に許されるなら)HULFT(か、類似のツール)を利用する。
#別にH社の回し物じゃないですよ
ぽんす
ぬし
会議室デビュー日: 2003/05/21
投稿数: 1023
投稿日時: 2004-08-02 20:54
引用:

ぱるんさんの書き込み (2004-08-02 17:43) より:
方法1
A上からBにFTPし、RSHやSSHなどのリモート起動コマンドを
A上からBに対し実行し、ロード用コマンドを実行させる。

方法2
A上からBに対しFTP後、処理パラメータを含んだファイルを
Bに飛ばし、Bは常駐プログラムにより、ファイルを感知し、
ファイルを読み、処理を実行する


好みで選べば2なんですが

結局のところ、どちらでやっても似たようなところに落ち着くんじゃ
ないかと思うですよ。

1で、単純にrshを使っただけでは終了状態を取得できないわけで、
その点では2のほうが状態を把握しやすいわけですが。
とはいえ、2にしたところでやはりBサーバの監視をどうするか、
という問題があるわけで。Bサーバ上に監視用のプログラムを
置くのでしょうけど、それならそいつに任せてしまって、Aからは
単純にrshを叩くだけでいいんじゃない?という話にもなるわけで。

利用できる監視の仕組みに合わせて、やりやすい方法を選べば
いいと思うですよ。
ぼんじぃ
ベテラン
会議室デビュー日: 2004/05/21
投稿数: 70
投稿日時: 2004-08-02 21:05
こんばんわ。

データの流れとしては、
HOST -> A -> B
でいいのでしょうか?
でしたら、効率やデータ量を考えると遠隔ミラーリングなども考えた方がよいかもしれません。
HOST -> A -> B 間をミラーリングすることでデータ転送処理を大幅に省くことができると思います。
またHOST -> A 間が無理であっても A -> B 間をミラーリングすることで2度手間が大幅に減ると思います。

方法1と方法2ですが、方法1がいいのではないでしょうか?
方法2ですと、エラーが発生した際の通知処理がB側に必要になるのではないでしょうか?
またA側でエラーの検知もできなくなるのではないでしょうか?
作り込めばどちらの方法でも対処できなくはないと思いますが、私は方法1の方がよろしいかと思います。

あくまで一個人の考え方ということで・・・
ぱるん
会議室デビュー日: 2004/08/02
投稿数: 4
投稿日時: 2004-08-03 09:13
皆様、いろいろなアイデア本当にありがとうございます。
「遠隔ミラーリング」や「HULFT」等、そんな方法があるとは
勉強不足でした。早速、検討したいと思います。

「HULFT」というソフトウェアに興味を持ったのですが、
このソフトを使った場合、システム構成的にはどんな形で、
(両サーバーにソフトをインストールする?)
処理はどのような動きになるのか、
(両サーバーにいれたソフトが連携起動し、ファイル送信後に、
 Bサーバー上のロード処理が起動?)

簡単で結構ですがのご教示いただけませんでしょうか。
お手数おかけいたします。よろしくお願いいたします。
はにまる
ぬし
会議室デビュー日: 2003/12/19
投稿数: 969
お住まい・勤務地: 誤字脱字の国
投稿日時: 2004-08-03 09:43
引用:

ぱるんさんの書き込み (2004-08-03 09:13) より:
「HULFT」というソフトウェアに興味を持ったのですが、


私はオープン系ですが「HULFT」はホストと連携するとき、結構耳にする製品名です。

 HULFT

「集配信」「ファイル」をキーワードにしてWEB検索すると
他にも競合製品があるのでメーカーに問い合わせして見ては如何でしょうか?

話を聞くだけでもシステムにはどの様な考慮が必要か勉強になると思います。

この手の製品は、「ファイル受信によるジョブ起動」や「ファイルバックアップ」、
「送受信履歴管理」等の機能を備えているので便利です。

あと話を伺うとジョブ連携が気になったので、
勉強がてらに「ジョブ管理ツール」の情報も収集されて見ては如何でしょうか?
JP1, Tivoli, Unicenter(激高)の製品名を私は良く聞きます。

スキルアップ/キャリアアップ(JOB@IT)