scrapy

0熱

1答えて

をthis webpageに移動して、ナビゲーション部門のすべてのリンクを抽出しようとしています。私はBeautifulsoupや要求などで正常にこれをしなかったが、以下： >> import requests >> from bs4 import BeautifulSoup >> url='http://uk.farnell.com/c/electrical' >> response =

0熱

1答えて

治療はできませんそのフィールドを取得する

私は4つのフィールドを掻き回そうとしています：画像、リンク、名前、価格。このコード： import scrapy from scrapy import Request #scrapy crawl jobs7 -o job7.csv -t csv class JobsSpider(scrapy.Spider): name = "jobs8" allowed_

0熱

1答えて

scrap crawlを実行するためのDjango管理コマンド

彼は私のscrapyスクリプトを実行するためのdjango管理コマンドを作成しようとしています。しかし、スクリプトを実行している間、私は次のエラーを取得しています、 File "manage.py", line 22, in <module> execute_from_command_line(sys.argv) File "C:\Users\Anaconda3\lib\si

0熱

1答えて

Scrapy - 特定の属性値を持つリンクからhrefを抽出します

私はScrapyで作業しています。私はa-carousel-cardのリストを持っています。ここでは、2番目の要素からhrefを抽出しています。次のコードは、最初に見つかったリンクのみを抽出します。これらのカード間の唯一の違いは、私は、リストの2番目の要素からのhrefを取り出す方法については、私は非常に不確かだ値"1"、"2"とaria-posinset属性など response.css("li

2熱

3答えて

治療は1つの深さだけ外部リンクに従います

私はfoo.comを這っていると想像してください。 foo.com自体にはいくつかの内部リンクを持っており、それはのようないくつかの外部リンクがあります：私は、そのような私がscrapyに行きたいなどの外部リンクのために、すべての内部リンクだけでなく、唯一の深さをクロールするscrapyを希望 foo.com/hello foo.com/contact bar.com holla.com

1熱

1答えて

Scrapy：HTML内のdata-mspid値を抽出する

Scrapyを使用してdata-mspidとHTMLコードの値をWebページ上でスクラップするにはどうすればよいですか？続きはHTMLコードです： <h1 itemprop="name" class="prdct-dtl__ttl" **data-mspid="13231"**> Something </h1>

1熱

1答えて

Twitsted ValueError：Raspian Stretchで不明なECCカーブ

Web廃棄プロジェクト用にRapian Stretchを実行しているRaspberry Pi 3を使いたいです。 Pyhtonの場合、私はberryconada分布を使用します。私は私のスパイダーを実行すると、私は（Xubuntuの16.04）私のラップトップ上 ValueError: Unknown ECC curve を得るすべてが正常に動作します。多分追加のライブラリなどをインストール

0熱

1答えて

ねじれた反応器が治療で再開しない

私はpython-telegram-bot APIラッパーを使ってTelegramボットで治療用スパイダーを動こうとしています。以下のコードを使用すると、スパイダーを正常に実行してスクラップした結果をボットに転送できますが、スクリプトを実行してからは1回だけです。私がbot（telegram botコマンド）を介してスパイダーを再実行しようとすると、エラーtwisted.internet.erro

1熱

1答えて

Scrapyでimg srcを取得すると、奇妙な結果が得られます。なぜですか？

私はScrap 1.4.0でウェブスクラップhttps://celulares.mercadolibre.com.ar/をしようとしています。入手したいのは、製品の説明とその製品のimg srcというリストです。問題は、私がスパイダーを実行したときに、最初の4つのアイテム（説明+対応するimg src）を返すだけで、アイテムリストの残りは「なし」img srcの説明に過ぎないということです。ウ