- PR -

JSpiderについて

1
投稿者投稿内容
加藤ローサ
会議室デビュー日: 2005/09/21
投稿数: 15
投稿日時: 2007-05-18 18:13
現在サイト運営していて、
相互リンクを結んだ相手から、
自分のサイトにきちんとリンクしてくれているのかを、
プログラムでチェックできればと思っています。

たとえば、ドメインaaaaa.comからhttp://bbbbb.com/（←自分のサイトURL）へ、
リンクが貼られているかをチェックするようなプログラムです。

ドメインaaaaa.comの全ページをクローラのようなもので走査し、
http://bbbbb.com/へのリンクがあればOK、
なければリストアップするというプログラムを考えています。

調べたいドメインは3000以上あるので、
目視ではなく、プログラムでできればと思っています。

調べたところ、
JSpiderというものがあるようなので、
こちらに質問しましたが、
Java以外の言語でも、簡単に実現できるのなら、
PHPやCGIなどでも結構です。

JSpiderの情報はあまり出回っていないのでしょうか。

わかりやすいサイト等あれば教えていただければうれしく思います。

どなたかご存知の方おられましたら、
ご教授願います。
あすか
ぬし
会議室デビュー日: 2006/07/12
投稿数: 309
投稿日時: 2007-05-18 18:43
http://q.hatena.ne.jp/1175700361

で同じようなことを聞いている方がいますので
参考になるかと思います。


ところで
私は公開サイトをいくつか管理していますが
Crawler系のアクセスを確認し次第一切拒否しています。
かなりのアクセス負荷が高いためです。

加藤ローサ
会議室デビュー日: 2005/09/21
投稿数: 15
投稿日時: 2007-05-19 00:25
参考にさせていただきます。

なるほど、マナーの問題もあるようですね。
よく考えて調査します。
1

スキルアップ／キャリアアップ（JOB@IT）