- PR -

スクレイピング用に簡易ブラウザーを作りたいが、既存のライブラリー等はある？

参照元記事 | 同じ記事を参照しているスレッド一覧
«前のページへ 1|2
投稿者投稿内容
todo
ぬし
会議室デビュー日: 2003/07/23
投稿数: 682
投稿日時: 2009-02-25 12:31
引用:

HTTP 通信は WebRequest/WebClient 機能でやれば良いと思っているので、そのあたりは自前で通信のコードを書けば良いと思っています。通信にのせる HTTP リクエストの電文を構築するのが、自前でやるのは面倒に思っていて、なにか便利なライブラリーとかないものだろうかと思っています。

サンプルは、ネット上にたくさんあります。
ライブラリーはCodeProjectで探してみるとか。

http://www.google.com/search?q=WebRequest+cookie
http://www.google.com/search?q=WebRequest+POST
http://www.google.com/search?sitesearch=codeproject.com&q=WebRequest+POST
Desmo
会議室デビュー日: 2003/05/23
投稿数: 8
投稿日時: 2009-02-25 22:57
以前に似たようなものを作成しましたので、リンクを載せておきます。

http://www.codeproject.com/KB/aspnet/deepwebscraper.aspx

Visual Studio 2008のwebtestファイル、またはFiddlerで記録したアクセス履歴をもとに、Requestを再現しResponseを取得できるようにしています。

cookieとPOSTにも対応しています。

参考になれば。
unibon
ぬし
会議室デビュー日: 2002/08/22
投稿数: 1532
お住まい・勤務地: 美人谷　　　　　　　　良回答(20pt)
投稿日時: 2009-02-28 21:57
遅くなりましたが、みなさまコメントありがとうございます。

引用:

デューンさんの書き込み (2009-02-25 02:36) より:
引用:

「ミニブラウザー」とでも書いたほうが適切だったのかもしれません。そもそもこの分野を指す用語としてなにか検索しやすい用語があるのかを知りたいところです。


「HTTPクライアント」になると思います。

なるほど。たしかにおっしゃるとおりですね。

引用:

todoさんの書き込み (2009-02-25 12:31) より:
サンプルは、ネット上にたくさんあります。
ライブラリーはCodeProjectで探してみるとか。

引用:

Desmoさんの書き込み (2009-02-25 22:57) より:
以前に似たようなものを作成しましたので、リンクを載せておきます。

http://www.codeproject.com/KB/aspnet/deepwebscraper.aspx

ありがとうございます。CodeProject にいろいろありそうですね。
DeepWebScraper を眺めているのですが、設定ファイルの作り方が良く分からず、初歩的なところでつまづいている段階です。(とりあえず動かしてから、その後でコードを見ようと思ったのですが、動かし方が良く分かっていない。)
でも、短いコードなので今後理解できるつもりでいます。
ひとまずお礼申し上げます。
«前のページへ 1|2

スキルアップ／キャリアアップ（JOB@IT）