web-scraping

1熱

1答えて

Possible Duplicate: Reading information from a password protected site を必要とするWebサービスにアクセスする方法を、私はあなたがそれにアクセスするために使用するURLに基づいて、CSV形式でデータを提供してWebサービスを持っています。つまりhttp://sever.com/parameter1はパラメータ1の場合はcs

3熱

5答えて

Pythonを使用した英語の単語の掻き取り

New York Timesのフロントページからすべての英語の単語を拾いたいと思います。私はPythonでこのような何かを書いた： import re from urllib import FancyURLopener class MyOpener(FancyURLopener): version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1

2熱

2答えて

C＃を使ってWikipediaのテーブル（コンテンツ）を読む

私はテレビ番組の各シーズンのエピソードテーブルを読んでみたいです。 wikipedia tablesからC＃を使用してデータを取得するにはどうすればよいですか？私は私のプログラムをスリムに保ちたい、可能であれば、それ以上のDLLやものを使用したくない。

1熱

2答えて

ページをスクラップし、リンクされたリソースのすべてのURLをPHPで抽出できますか？

これを行うためのライブラリやコードがあるかどうか、私は実際には疑問に思います。基本的には、PHPでページをスクラップするだけです（CSSファイル、JavaScript、イメージなど）。コード内のURLをローカルコピーのURLに置き換えます。件に関するヘルプやリンクは、本当にありがとうございます。ありがとうございました。

0熱

1答えて

YQLを使用したHTMLスクレイピング

私はYQLを使用していくつかのウェブサイトをスクラップしようとしています。 YQLコンソールでさまざまなクエリをテストすると結果ノードが取得されます。だから、例えば私が実行したとき： select * from html where url="http://www.reverbnation.com/" and xpath='/html/body' は私が空 <results />ノード（ pe

4熱

3答えて

JavaでAjaxサイトをスクレイプする方法は？

いくつかのAjaxベースのウェブサイトをスクレープし、ウェブページの一部をリフレッシュするクリックをシミュレートして、更新されたHTMLを読みたいと思っています。これを行うことができるJavaライブラリがありますか？

1熱

1答えて

シンプルなHTML DOMを使用して廃棄中にページをスクリーンショットを保存

シンプルなHTML DOMパーサーを使用して廃棄されているページのsreenshotを保存する方法があるのでしょうか。パーサーは、基本的にはfile_get_contentsを使用して、指定されたページの内容を取得しているようです。私は二度目のアクセスにしたくないので... は、それがスクリーンショットを作るためにSHDPによって廃棄されたものを使用することは可能ですか？スクリプトでエコーする

1熱

1答えて

AJAXで管理されているアイテム数を持つページでウェブストアを削る？

私は趣味のウェブサイトを運営しています。とりわけ、特定のアイテムが印刷されているのか、特定のWebストアで絶版であるのかを記録しています。店舗の管理者は、商品が在庫切れのときに商品を取り除き、在庫が戻ったときにページを再追加します。カテゴリのページのアイテムリストを拾い読みするのは簡単ですが、結果よりも多くのページを表示する方法についてはわかりません。ページのデフォルトは10個です。[次へ]

0熱

1答えて

最後に外部POPアカウントがチェックされ、最後のチェックからX時間以上が経過していないか確認してください

ゴール： Googleの外部POPアカウントが最後にチェックされたスクリプトを開発するには、 - ログインしていないとき。時間がある程度以上になったら、ポップアカウントをチェックしてください。私の理由：私はオフラインクライアントを使用しています。私はgmailにログインしたくないので、私はすべての外部メールをgmailに流してほしい。ときには重要なメールが届き、Gmailにログインしてアカウン

3熱

1答えて

ウェブページをコピーするためのPHPスクリプトの作成方法は？

URLを指定すると、画像、スクリプト、スタイルシートなどのWebページ全体をコピーするPHPスクリプトを作成したいと考えています。これについては、どのような方法が最適ですか？それを通して？私はPHPでいくつかの経験を積んでいますが、フォーム、CMS、クッキー、データベースを中心にしています。このタスクを開始するにはどうすればいいですか？