予期せずクローラプロセスが瀕死状態になる

Question

予期せず死んでいるクローラプロセスに問題があります。

私は治療0.14を使用していますが、問題は0.12にも存在していました。

scrapydlogは次のようなエントリを表示します。プロセスが終了しました：exitstatus = None スパイダーログは、データベースステータスで示されているスパイダのクローズド情報を表示しません。

他の誰かが同様の状況に直面していますか？どのように私はこれらのプロセスの理由、任意のアイデア、消えて、 の提案をトレースすることができますか？

Answer 1

私は同様の状況があったと思います。

プロセスが死んでいた理由は、スパイダーがプロセスを停止させる例外を生成していたからです。

.scrapyフォルダー内のログファイルを見てください。開始されたクローラ・プロセスごとに、その名前にジョブIDを持つログ・ファイルが作成されます。