scrapy

0熱

1答えて

ScrapeピンボードをScrapyで再帰的にスクラップ - 「スパイダーはリクエストを返す必要があります」エラー

私はPythonとSpark GraphXスキルを磨くために、ピンボードユーザーとブックマークのグラフを作成しようとしています。また、保存したすべてのユーザーを見つけ、ユーザーとのスタートし、すべてのブックマークurl_slugによって識別された各ブックマークのを、こすり：そうするためには、私は次の方法で再帰的にピンボードのブックマークをこすり同じブックマーク。ステップ2からユーザごとには、

0熱

1答えて

JSONレスポンスでの治療

Scrapyでjsonレスポンスをスクラップする際に問題が発生しています。私は、次のエラーを取得しています：はTypeError：JSONオブジェクトは、ない「レスポンス」をstrをしなければならない私は、それはコーデックを輸入し、UTF-8への応答をデコードすることにより、以下のものを使用してデコードすることを試みたが、それは何らかの理由で動作していません。コード： import scrap

0熱

2答えて

無効にしないで、Scrapyのクッキーをリセットする

私はCrawlSpiderを使ってウェブサイトをクロールします。ウェブサイトはクッキーを使って自分のスパイダーを検出します。私がそれらを無効にすると、それはまた私がロボットであることを検出します。どのように各リクエストで新しいクッキーを使用するか。私のクモは非常に単純です： # -*- coding: utf-8 -*- import scrapy import requests from

1熱

1答えて

scrapy TypeError：object（）にはパラメータがありません

私はScrapyを初めて使い、Scrapyを使っていくつかのリンクをテストとしてクロールしようとしています。私はscrapy crawl tier1を実行するたびに、私は "TypeError例外を：オブジェクト（）はパラメータを受け取りません" を取得、次のとおりです。 Traceback (most recent call last): File "/Users/btaek/Taek

0熱

1答えて

python、スクラブを使用してウェブサイトにログインするのに失敗しました

私はindeedに治療を使用して接続しようとしています。この部分は、scrapy docとcode reviewというトピックの例を参考にして、ログインしようとしました。 class IndeedSpider(scrapy.Spider): name = 'indeed' allowed_domains = ['indeed.com' ] star

0熱

2答えて

SplashでJSページをスクラップする方法は？

私はこのリンクを擦ってしまいますが、私はそれを成功させることはできません。私は間違いがないので、私の価値は空白になります。私はpythonのscrapyとスプラッシュを使用しています。どうしましたか？誰でも助けてくれますか？この私のクモコード： # -*- coding: utf-8 -*- import scrapy from scrapy_splash import

0熱

1答えて

Scrapyクローラは、再帰的に</p> <p>、次のページ

私はクレイグズリストから住宅データを取得するには、このクローラを構築しようとしていますが、クロールではないが、クローラーは、最初のページをフェッチした後に停止し、次のページに移動しません。ここでは、それが最初のページのために働く、コードではなく、神の愛のために私はそれは.ANY洞察力は本当に.I高く評価され、次のページを取得しない理由を理解しない this part from scrapy tu

0熱

1答えて

治療：別のURL

URLへのリクエストに問題がある。メインページに点検しながら、私はとしてのhrefにURLを取得する。しかし、リンクが開いて取得するときに、あるように思われる：私はこのための要求を行うことができるか、両方のリンクが異なっています。ここで私のシェルは言う：

-1熱

1答えて

R/PythonでのWebスクレイピング

からデータを抽出する必要があります。「名前」、「性別」、「タイトル」、「病院名」、「連絡先の詳細」の4つの列が必要です。名前をクリックすると、「タイトル」情報が表示されます。私が直面している別の問題は、複数のページから情報を抽出することです。合計で10071件のレコードがあります。私はこれらすべてのレコードの情報が必要です。現在、Rでrvestパッケージを使用していますが、エラーが発生しています

0熱

1答えて

なぜ私は空になっていますか？メッセージ： "Scrapyを実行しているときにログ出力？

スパイダーが正常に動作しています。コード行のこの種： logging.info（ "MyCrawlerは、URLのリストを構築しました！"）と出力メッセージ、例えばコンソールに [root] INFO：MyCrawlerで作成されたURLのリスト！クモを実行しているとき、私はメッセージの以下のようなものの多くを得る： 2017年8月25日午前13時40分15秒[scrapy.extension