web-scraping

63熱

8答えて

Node.jsを使用してウェブサイトのコンテンツをスクラップするのは良いことでした私は非常に高速なものを構築してkayak.comのスタイルで検索を実行することができます。ここでは、1つのクエリがいくつかの異なるサイトに送られ、結果がスクラップされ、利用可能になったときにクライアントに返されます。このスクリプトは結果をJSON形式で提供するだけで、ブラウザや他のWebアプリケーションで直接処理す

1熱

1答えて

2.12のXMLパッケージエラー2.10でない

私は、ページのHTMLテーブルを読むためにRのXMLパッケージを使用しています。 2.12.1で、私は次のエラーを取得しています：私は2.10に同じコードスニペットを実行したときに Error in names(ans) = header : 'names' attribute [24] must be the same length as the vector [19] しかし、エ

4熱

2答えて

javascriptの画面遅延によるサイトの掻き取り

分割された2番目のJavaScriptの遅延を持つサイトを掻き集めようとしています。私は現在、スクレイピングにpythonを使用しています。私がページを取得するたびに、javascriptの遅延は完了せず、新しいDOMをまだ完全にロードしていません。どうすればこのようなpgeを削ることができますか？

4熱

3答えて

JavaScriptを使用してDOMツリーにHTML文字列をロードします。

現在、分析のためにウェブページをプルダウンしている処理系のフレームワークを処理しています。 Rhino Javascriptエンジンは、返されたWebページの解析を支援するために使用できます。文字列（完全なWebページです）をDOM表現に読み込むことができれば、コンテンツを解析して解析するための非常に優れたインターフェイスを提供するようです。 Javascriptのみを使用して、これは可能な、ま

1熱

2答えて

ウェブページから数値をスクレイピングしていますか？

ウェブサイトから17個の値を削りました。これは、データを持つページのURLです：ページの左下にhttp://www.bungie.net/stats/reach/online.aspx 「ONLINE PLAYLIST」私は、各リスト項目にプレーヤーの数をこすりしたいというタイトル番号なしリストがありますそのような情報を含む。数字は桁数、つまりカンマなしでなければなりません。現時点では

2熱

1答えて

VBページからjspページを呼び出すにはどうすればよいですか？

私はパラメータを受け入れるJSPページを作成しました。ページがパラメータを受け取ると、ユーザーにXMLが返されます。 VBプログラムを作成して、フォームを表示してユーザーにパラメータの値を入力して、JSPページに渡して戻りXMLを取得し、VBでユーザーに表示するプログラム。これは可能ですか？ Thx

0熱

6答えて

コンテンツがクロールされないようにするための最良の手段は何ですか？

私は最近、コンテンツ用のウェブサイトをたくさん巡ってきましたが、これまでのところサイトがこれほど抵抗を感じることができなかったのは驚きです。理想的には、私が取り組んでいるサイトは簡単に収穫できないはずです。だからボットがあなたのウェブコンテンツを収穫するのを止める最善の方法は何か不思議に思っていました。明白な解決策： robots.txtの（いや右） IPブラックリストは、ボットの活動をキャッ

0熱

2答えて

Apache/mod_jk/Tomcat設定のアップグレードをテストする

mod_jkと4つのTomcatサーバー（新しいハードウェア）でApacheを使用して、ハードウェアとソフトウェアを64ビットアーキテクチャにアップグレードし始めました。私は現在、Mechanizeライブラリでこれを行うにはPythonを使用していますが、実際にはこのアプリケーションを使用しています。ただそれを切断しないでください。スレッド化はPythonでは「本当の」ものではなく、マルチプロセ

1熱

1答えて

プログラムでページを開くためにGoogle Webキャッシュを使用できますか？

私はsnoopyとphpQueryを使用しています。私はURLを持っている場合、そのURLのキャッシュされたバージョンをGoogle上で開きたいと思います。任意の日付は問題ではありません、バージョンが存在する限り、私はそれを取るでしょう。これを行う方法に関するアイデアはありますか？手動で複製するには：あなたのURLを選択を、最初の結果は、クリック、URLで検索ボックスにこのURLにhttp

0熱

1答えて

ウェブスクレイパーの速度を向上させるための代替言語/ライブラリ

私はPHP/cURLを使用してスクレーパーを作成しましたが、これはcURLでボトルネックはすばらしいですが、うまく機能します。 AFAIKでは、cURLの速度を向上させる方法はありませんが、より高速な他の言語/ライブラリを読んでいます。誰でもこの分野での経験がありますが、何％改善が期待できますか？たぶん25％未満の人にとっては問題にならないでしょう。パラレルcronジョブの代わりに使用できますか