scrape

1熱

2答えて

クラスプロジェクトでは、別のWebサイトからデータを取得することになっています。私はGiantBomb.comから与えられた試合に似た引っ張りゲームを選んだ（私の脚本で彼らにクレジットが与えられた） // $gameLink = "/call-of-duty-black-ops/61-26423/"; $html = file_get_contents("http://www.giantbomb

0熱

1答えて

Pythonのスクレイプurllib2のHTTPエラー

は私がサイトをこすりしようとしていますが、私は、サイトを開いているし、それを更新した場合、私のコードにのみ機能します。私は複数のものを試してみましたが、以下の2つのエラーに来続けてきた：最初：ValueErrorを：「HTTPError：HTTPエラー416：要求された範囲ないの充足」 urlslist = open("list_urls.txt").read() urlslist = url

9熱

4答えて

Scrapyは、内部URLに従うだけですが、見つかったすべてのリンクを抽出します

Scrapyを使用して特定のWebサイトからすべての外部リンクを取得したいと考えています。次のコードを使用すると、スパイダーは外部リンクもクロールします。 from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.contrib.linkextractors import LinkExtractor from myproj

2熱

1答えて

Jsoupを使用してログインする必要のあるJavaスクラップウェブ

streetinsider.comからいくつかのデータ（div = class "news_article"）を印刷したいと思います。アカウントを作成したので、そのデータにアクセスするにはログインする必要があります。誰でもこのコードが機能しない理由を説明できますか？私はたくさん試しましたが、何も動いていません。 public static final String SPLIT_INTERNET_

10熱

2答えて

Rubyで利用可能なWebページの宝石/工具を掻き集める

私が取り組んでいるRubyスクリプトでWebページを削り取ろうとしています。このプロジェクトの目的は、どのETFおよび株式ミューチュアルファンドが価値のある投資理念に最も適合しているかを示すことです。私はこすりしたいページのいくつかの例は以下のとおりです。あなたがルビーのためにお勧めします、そしてなぜかこする何ウェブツール http://finance.yahoo.com/q/pr?s=SPY+

0熱

1答えて

Pythonの3引っかきHTMLデータ

私は、ウェブサイトのHTML リンク以下のfromtheデータを抽出することを計画：http://movie.walkerplus.com/list/2015/12/ HTMLのいくつかの部分は、以下のように示されている： <dl class="directorList"> <dt>監督</dt> <dd> <a href="/person/209306/" title="">スティーヴ・マ

0熱

1答えて

このデータをスクラップするにはどうすればよいですか？（テキストエリア、awボックス）

このページからzipcode dataを掻き取ろうとしています。ただし、HTML要素は単なるテキスト領域です。 AWボックスは、複数のセルもコピーするのを防ぎます。プログラムでデータをスクラップするにはどうすればよいですか？

1熱

0答えて

スクレイプ::スクレーパー

問題：Webを使用しTORの.onionサイトからこすり::スクレーパー私は.onionサイトに接続するために自分のコードを修正したいと思います。あなたがこすりするURIを渡すとLWPを使用しています use Web::Scraper; my $piratelink=$PIRATEBAYSERVER.'/search/' . $srstring . '%20'. 's'.$sval[1].'e

0熱

3答えて

Stataへのデータの掻き取り

私は40,000のHTMLファイルを持っています。各ファイルには、特定の会社の損益計算書&を含むテーブルがあります。これらすべてのデータをStataにスクラップしたいと思います。（あるいは、Excel/CSVファイルに）。最終製品は、すべての企業のリストとその貸借対照表の詳細（収入、利益など）を含むStata/Excelファイルである必要があります。これはどのように実行できますか？私はOut

5熱

1答えて

リモートでページをスクラブし、XPathで画像に最も関連性の高いタイトルまたは説明を取得

私がやっていることは、TweetボタンやFacebook Share/Likeボタンと基本的に同じことです。 1つのデータの関連タイトル。私が考えることができる最も良い例は、あなたが多くの記事を含むウェブサイトのフロントページにいて、Facebook Likeボタンをクリックしたときです。それから、ポストの適切な情報が「Like」ボタンに（最も近い）相対的に表示されます。一部のサイトにはOpen