scrapy

-4熱

1答えて

は、scrapyspiderのためのxpathを見つけることができません

私は次の情報を得るためにスパイダーを作成しようとしています10, 861, Wednesdaytdから多くの多くのためtd。画像をご覧ください。どうもありがとうございます！！！

python xpath html-table scrapy scrapy-spider 2017-12-20

---

-1熱

1答えて

Scrapyのprocess_exceptionで応答ステータスコードを取得するにはどうすればよいですか？

例外が発生し、応答ステータスコードが429の場合は、Scrapyリクエストを再試行します。問題は、process_exceptionの応答ステータスを取得する方法がわかりません。 process_exception内の応答オブジェクトにアクセスする方法がないと思われるので、どうすればいいですか？ class FakeUserAgentErrorRetryMiddleware(RetryMiddle

exception web-scraping exception-handling scrapy scrapy-middleware 2017-12-21

---

0熱

1答えて

Scrapy Tor Privoxy＆UserAgentを使用して匿名でスクラップする方法は？ （Windows 10）

情報がばらばらになっていて、質問のタイトルが誤解を招くことがあるため、この質問の回答は非常に難しいものでした。以下の答えは、1つの場所で必要なすべての情報を再編成します。

python-3.x scrapy tor privoxy 2017-12-21

---

1熱

2答えて

要素の文字列値を選択するのにXPathを使用しますが、<br/>を改行に置き換えますか？

<br>,<br/>を新しい行として表示すると、xpath normalize-space()をhtmlで呼び出すことはできますか？ XPathバージョンは1.0です ウェブサイトの記事を解析します。実際のHTMLコードの例： <div id="someid"> <img src="https://habrastorage.org/webt/ej/ye/hp/ejyehp08ercmqz

python xpath scrapy scrapy-spider xpath-1.0 2017-12-21

---

2熱

1答えて

ScalarでSqlalchemyを使用してテーブル行を更新する

私はscrapyとsqlalchemyを使用しています。私のスパイダーのでは、私はテーブルから選択することだし、とのリクエストを作成する：あなたは、私は、各scrapy要求とSQLAlchemyの行オブジェクトを渡している見ることができるように def start_requests(self): db_path = "sqlite:///"+settings.SETTINGS_PATH

python sqlalchemy scrapy 2017-12-22

---

0熱

2答えて

Scrapy Spiderがすべての要素を返さない

初心者プログラミング/ Python36。 OS：Windows 10 私はScrapyにスパイダーを書きました。私のjsonファイルはいくつかの値しか返しません。それは私には、xpathの構文が正しいと思うが、私は何が間違っているように見えることができません。 This questionこれは私のコードスニペットでは問題ではないので、何の助けにもなりませんでした。 コード+出力：誰もがここで間違

python-3.x xpath scrapy 2017-12-22

---

-2熱

2答えて

Pythonシェルコマンドはコンソール（ウィンドウ）に出力が多すぎます

Pythonのいくつかのコマンドを実行してコンソールにバラスト出力が表示されないことはありますか？私はScrapyを実行することについて話しています。そこでは、意味のある出力のみを見ることを拒否する必要のないテキストがたくさん表示されます。 しかし、私はそこにいくつかのバラストが表示されます。 pip install。役に立たない。

python windows scrapy 2017-12-22

---

1熱

1答えて

Xpathが<table>の内容を<a>に返さない（<tbody>は問題ありません）

次のコードでは、scrapy + scrapy-splash + Pythonを使用しています。 https://www.hltv.org/matches コールバック「パース」関数での私のコードは次のとおりです： match_days = response.xpath("//div[@class = 'upcoming-matches']//div[@class = 'match-day']")

python xpath scrapy scrapy-spider scrapy-splash 2017-12-22

---

0熱

1答えて

AttributeError： 'Spider'オブジェクトに 'table'という属性がありません

私はscrapyで作業しています。私はで始まるクモがあります。 class For_Spider(Spider): name = "for" # table = 'hello' # creating dummy attribute. will be overwritten def start_requests(self): self.table = self

python oop scrapy 2017-12-23

---

0熱

1答えて

スクラップとセレンでぺーニングされたコンテンツを擦る

私は、ajaxコンテンツを持つウェブサイトをスクレイピングするためにセレンを使用しています。 まず、「csrf」のためにajaxリクエストをシミュレートします。ここ と主な質問は、私はこすりしたいリンクは次のとおりです。 https://lastsecond.ir/hotels このサイトのURLのパターンは、このようなものです： https://lastsecond.ir/hotels?pa

python selenium scrapy 2017-12-23

---