scrapy

0熱

1答えて

ミドルウェアのscrapy Responseオブジェクトを変更することはできますか？

いくつかのEUサイトからデータを盗み、response.xpath()への私の呼び出しがテキストを壊すことがあることがわかりました。たとえば、"& amp;" ¤などのhtmlエンティティと、壊れたバイト（\x92または\xc3など）に翻訳されています。 xpathメソッド（lxml libを使用）を呼び出す前に、いくつかの実用的な解決法を見つけました。 body_str = str(re

-1熱

1答えて

Pythonの任意のWebページURLドキュメントの特定の見出しのテキストをクロールする

私はscrapy、beautifulsoupなどのようなPythonでWebクローリングライブラリのいくつかを検索して取得しました。これらのライブラリを使用して、ドキュメント内の特定の見出しの下にあるテキスト。あなたのいずれかが私を助けることができるなら、彼/彼女の助けが高く評価されるだろう。いくつかのチュートリアルでは、美しい石鹸を使用して特定のクラス名（ビューのソースページオプションで）でリン

0熱

1答えて

ダウンロード速度を制限する方法として、1分間に20回の治療を受けるためのURLを得ることは遅いですか？

ここに私の治療ストラテジストがあります。 import scrapy,urllib.request AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_START_DELAY = 3 AUTOTHROTTLE_MAX_DELAY = 6 CONCURRENT_REQUESTS_PER_IP = 1 CONCURRENT_REQUESTS = 1 CON

1熱

1答えて

ヤフーファイナンスはウェブ治療を禁止していますか？

yahoo robots.txt中のrobots.txtは言う： User-agent: * Sitemap: https://finance.yahoo.com/sitemap_en-us_desktop_index.xml Sitemap: https://finance.yahoo.com/sitemaps/finance-sitemap_index_US_en-US.xml.gz D

0熱

1答えて

splashRequestで投稿要求をscrapy_splashに送信する方法

私はSplashRequestを以下のコードでエンドポイント= '実行'と使用してポストリクエストを送信しようとしましたが、結果は成功しなかったことを示しています。 import re import sys import os import scrapy from scrapy_splash import SplashRequest from crawler.items import C

0熱

1答えて

Pythonでアンカータグのタイトル属性のテキスト値を取得する方法は？

コードの下からタイトル <td class="col_name" nowrap="nowrap"> <a class="icon" title="refer me"> <img src="https://edu.au/images/icons/silk/vcard.gif" align="top" alt="Add to address book"> </a> Mrs Cal <span

0熱

3答えて

がスクラッピデータ

を掻き出していない私はthis siteからデータをこすり取る際には、以下のスクリプトを書きました： import scrapy class MySpider(scrapy.Spider): name = 'jobs' start_urls = ['https://www.freelancer.in/jobs/python_web-scraping_web-crawling

0熱

1答えて

なぜPython-Scrapyをインストールできないのですか？

私は初心者のVagrantユーザーであり、trusty64ボックスを持っています。私が行います sudo apt-get install -y python-pip sudo pip install --upgrade setuptools Then this happens. Traceback (most recent call last): File "/usr/local/bin/s

0熱

1答えて

Pipeline.close_spider（）メソッドでScrapyにエラーが発生したかどうかを確認するにはどうすればよいですか？

私はScrapyスパイダーとパイプライン設定を持っています。 My SpiderはWebサイトからデータを抽出し、Pipelineのprocess_item（）メソッドは抽出したデータを一時データベーステーブルに挿入します。最後に、Pipelineのclose_spider（）メソッドで、一時データベーステーブルでいくつかのエラーチェックを実行します。もし問題がなければ、一時テーブルを永続化しま