web-scraping

-1熱

1答えて

Scrapyのprocess_exceptionで応答ステータスコードを取得するにはどうすればよいですか？

例外が発生し、応答ステータスコードが429の場合は、Scrapyリクエストを再試行します。問題は、process_exceptionの応答ステータスを取得する方法がわかりません。 process_exception内の応答オブジェクトにアクセスする方法がないと思われるので、どうすればいいですか？ class FakeUserAgentErrorRetryMiddleware(RetryMiddle

0熱

1答えて

python aiohttpライブラリを使って複数のWebページをダウンロードするには？

私はビデオゲームのためにleaderboardからデータを非同期的に削り取ろうとしています。毎週、毎日の挑戦があります。これまでのコードはthis async client with semaphoresに基づいています。違いは、関数内でループが使用されている終わりを含むことを試みていることです。ここに私のコードの関連部分です： from urllib.parse import urljoin

0熱

1答えて

見つけることができるか、XPathを使用して印刷リンクフォームアマゾンではないが、私はここでbeautifulsoup

で行うことができる午前は、私は非常に多くの方法を試してみましたPythonスクリプトですが、私は from lxml import html import csv,os,json import requests from exceptions import ValueError from time import sleep def AmzonParser(url): head

1熱

1答えて

RプログラミングWebスクレイピング

RプログラミングのRベストパッケージを使用して、下のリンクからウェブページをスクレープしようとしました。私は掻き取りリンクは http://dk.farnell.com/c/office-computer-networking-products/prl/results 私のコードは次のとおりです。 library("xml2") library("rvest") url<-read_ht

0熱

1答えて

'％s'の接続アダプタが見つかりませんでした。 "％url

私は初心者ですので、皆さんが知っていることを教えてください。私はマーケティング目的のスクレイピングツールをスクレイプしていますウェブサイトからの情報を連絡し、私はこれが私のコードではPython 3 を使用しています：。、 Traceback (most recent call last): File "C:\Users\hdtra\Desktop\In processing\Face

1熱

2答えて

RのRcrawlerを使用してサブドメインから情報を抽出するにはどうすればよいですか？

メインURLを使用して、サブドマンからウェブページのコンテンツを抽出します。私はINDEXのデフォルトの変数を持って、私たちは、ウェブサイトのすべてのURLを参照することができ、このコードを実行した後Rcrawler library(Rcrawler) Rcrawler(Website = "http://www.xbyte-technolabs.com/", no_cores = 4, n

0熱

1答えて

Pythonで投稿する

私はちょうどPythonのイントロコースを終え、小さなプロジェクトに取り組んでいます。目標は単にWebサイトからデータを抽出することです。リクエストライブラリの仕組みを学びたいので、SeleniumやMechanizeなどのライブラリの使用は避けています。以下は私のコードです。 s = requests.Session() url = 'https://services2.hdb.gov.sg/

0熱

1答えて

<a>タグにrelの内容をどのように抽出しますか？

<a href="#" class="tip" rel=" Principal Name - S. BALKAR SINGH Mobile No. - 8146611008 Email ID - [email protected] " style="user-select: text;">View Contact Details<sp

0熱

1答えて

リクエストが動作していないプロキシを使用する

私はウェブサイトをスクラップしようとしています。私はTorモジュールを使用してプロキシを生成し、リクエストモジュールを使用してウェブサイトをクロールします。しかし、プロキシを持つリクエストモジュールは、Webサイトによって識別され、apiページ（api情報を示すメッセージ付きのhtml）で返されます。しかし、私がプロキシなしで（私の元のIPアドレスを使用して）リクエストを使用しているとき、私は適切