scrapinghub

0熱

1答えて

私はピップ経由でミドルウェアのインストールを使用する治療プロジェクトを持っています。具体的にはscrapy-random-useragentです。 UTF-8から - # Scrapy settings for batdongsan project # # For simplicity, this file contains only settings considered importan

0熱

1答えて

scrapinghubでテキスト置換{}が機能しない

{}形式のURLを作成して、その場でURLを変更します。これは私のPCでまったく問題なく動作します。しかし、私は多くの置換のscrapinghub（状態）からアップロードして実行すると（他のものは正常に動作しません）、コード中括弧で囲まれたURLに％7B％7D &を返します。なぜこれが起こりますか？状態変数を参照する際に何が欠けていますか？これは私のコードからURLです： def __in

1熱

1答えて

scrapinghubで小数点以下をシリアライズ

シリアライザに関するドキュメントはこちらlinkで、10進シリアライザに関するドキュメントが不足しているかどうかはわかりませんか？特に、カンマを含む数字で、格納し、この値をscrapinhubとき、私はいくつかのエラーを取得しています prize = scrapy.Field(serializer=Decimal, output_processor=TakeFirst()) ：私はこのようなscr

0熱

1答えて

MySQLdb-python == 1.2.5 Scrapinghub（Scrapy）Python 2.7

私はscrapinghubデプロイ済みスクリプトを使ってMysqlに接続することについていくつかのスレッドを読んでいました。 * .ymlファイルを変更し、要件txtを追加することをおすすめします。このソリューションは数日前に機能しました。今それdoesnt。ここでシューブ展開からの誤差です。 Collecting MySQLdb-python==1.2.5 (from -r /app/req

0熱

1答えて

Scrapy：キャプチャ付き確認ページへのリダイレクト

ターゲットURLから、キャプチャ付きウェブサイトの確認ページである別のURLへのリダイレクトを停止するにはどうすればよいですか？ここでは、以下の私のコードです： yield scrapy.Request(meta={'handle_httpstatus_list': [302], 'dont_redirect': True, 'redirect_enabled':False},url=url,

2熱

2答えて

プロジェクトのソースコードをScrapinghubからダウンロードします

Scrapinghubにプロジェクトを展開しましたが、そのコードのコピーはまったくありません。プロジェクトのコード全体をローカルホストのScrapinghubからダウンロードするにはどうすればよいですか？

0熱

1答えて

Scrapinghub shubのデプロイメントエラー - エラー：展開に失敗しました（400）：プロジェクト：non_field_errors

クラウドに展開して次のエラーが発生するときに試してみます。 Error: Deploy failed (400): project: non_field_errors 現在の設定は次のとおりです。 def __init__(self, startUrls, *args, **kwargs): self.keywords = ['sales','advertise','contac

0熱

1答えて

Scrapinghubジョブが失敗しました - 診断できません

スパイダーがクロールの途中で停止しました（7時間実行、20K要求後）。ジョブのステータスは「失敗」です。ログにERRORメッセージはありません。コードのようなログの外観は、エラーが報告されずに特定のコード行範囲で実行を停止しました。これはspider_idleメソッドのオーバーライドで発生しました。ログが有効になり、スパイダーが正常に実行されたことを示す前のINFOメッセージがすべて表示されます。

1熱

1答えて

jsクリックイベントからの治療用スプラッシュダウンロードファイル

私はscrapy +スプラッシュプラグインを使用しています。私はajax経由でダウンロードイベントをトリガーするボタンがありますが、ダウンロードしたファイルを取得する必要があります。私のluaスクリプトは私のクモからこの function main(splash) splash:init_cookies(splash.args.cookies) assert(splash

1熱

1答えて

アイテム出力の順番| Scrap

私はScrapingHub APIを使用していて、私のプロジェクトを展開するためにshubを使っています。ただし、アイテムが結果として示されている： - 日付、説明、リンクを公開し、>タイトル残念ながら、私は次の順序でそれを必要とする。どのように出力をすべてのアイテムクラスについて正確にその順序にすることができますか？以下は私のクモの短いサンプルです： import scrapy from