scrapy-spider

1熱

1答えて

リンクのリストに従って、虐待されているページからデータを取得するにはどうすればよいですか？

私は掻きするウェブページを持っています。このページには、<table>のリンクのリストがあります。ルールセクションを使用して、Scrapyにリンクを調べ、リンクがターゲットとするページのデータを取得するように依頼しています。私のコードは以下の通りです： class ToScrapeSpiderXPath(scrapy.Spider): name = 'coinmarketcap'

1熱

1答えて

NotSupported：サポートされていないURLスキーム ''：そのスキームで利用可能なハンドラーがありません。

このサイトをスクラップしようとしていますが、 'NotSupported：サポートされていないURLスキーム' '：なぜルールが間違っていないのであれば、なぜ起こっているのか、あなたの提案は何か、助けてください。どうもありがとう。コードはここにある： from scrapy.spiders import CrawlSpider, Rule, BaseSpider from scrapy.lin

0熱

1答えて

外部APIを呼び出すためのベストプラクティスは何ですか？

Facebook APIを使用してウェブサイトのすべてのページのお気に入りを計算するスパイダーを作成したいとします。リクエストライブラリをインポートすると、次のようにFacebookグラフAPIを呼び出すことができます。 import scrapy import json import requests API_KEY="KEY_GOES_HERE" class WebSite(scr

1熱

1答えて

サイトマップスパイダーによって収集されたCSVファイルへのリンクをCSVFeedSpiderの第2スパイダーにフィードする方法

私はcsvファイルへのリンクを収集できるサイトマップスパイダーを持っています。私はこれらのリンクを介してクロールするためにcsvスパイダーを使用したいと思います。あるスパイダーの産出物を別のスパイダーに送るにはどうすればいいですか？

1熱

1答えて

クローリング時にすべてのページを処理しないでください

私はscrapyでクローラを作成します。また、多くのページをクロールするためのスクリプトを作成します。残念ながら、すべてのスクリプトがすべてのページをクロールしているわけではありません。一部のページはすべてのページを返します。他のページは23またはおそらく180（異なるURLの各URL）です。 import scrapy class BotCrawl(scrapy.Spider)

0熱

1答えて

Python request.post（）はPython Scrapyリクエストに変換されても機能しません

私は単純なPOSTリクエストコードを持っています。 headers = { dictionary of headers } params = ( ('param1', '0'), ('param2', '5668294380'), ('param3', '8347915011'), ) response = requests.post('https

1熱

2答えて

スクリーニングシェルでのスクリーニング応答の入手方法

私はScrapyプロジェクトを初めて使い、多くのチュートリアルを読んでいます。それらはすべて、応答オブジェクトをすぐに解析する方法を知っており、応答コールバックをすぐに呼び出すことができると仮定しているようです（例：scrapy.Request(url=url, callback=self.parse)）。しかし、実際には、試行錯誤を使ってCSSセレクタを操作する必要があります。私はそれを対話的

-1熱

1答えて

ドメインをScrapy Webクローラーに渡す

私はユーザーが最初に実行するスクリプトにURLを入力するWebクローラーを構築しています。その後、そのスクリプトは入力されたドメインでクローラーを実行します。私はいくつかのクリーニングをしていますが、プロトタイプを取得する必要があります。コードを作ったが、クローラスクリプトがURLを要求し続けるということが起こる。私はそれを入力するためにターミナルコマンドを使用してみましたが、私のコードはそれと互

2熱

1答えて

Scurceptionのallowed_domainsに引数を渡す

私は、サイト上のすべてのリンクに対してユーザー入力とクロールを行うクローラを作成しています。しかし、私は、そのドメインのみからのリンクへのリンクのクロールと抽出を制限する必要があります。外部ドメインはありません。私はそれをクローラーの面で必要とする場所に持っています。私の問題は、私のallows_domains関数のために、コマンドを介して入れられたscrapyオプションを渡すことができないようで