Scrapinghubジョブが失敗しました - 診断できません

Question

スパイダーがクロールの途中で停止しました（7時間実行、20K要求後）。ジョブのステータスは「失敗」です。ログにERRORメッセージはありません。コードのようなログの外観は、エラーが報告されずに特定のコード行範囲で実行を停止しました。これはspider_idleメソッドのオーバーライドで発生しました。ログが有効になり、スパイダーが正常に実行されたことを示す前のINFOメッセージがすべて表示されます。 scrapinghubログでDEBUGメッセージを有効にする方法がわかりません。

メモリ消費量のチェック - 少なくとも短時間のテストでは安定しており、結果が長時間待っています。

「失敗した」ジョブの後にさらに情報を取得するにはどうすればよいですか？

Answer 1

無料のアカウントでは、ジョブは24時間以内に自動的に停止します。この場合、ステータスは「キャンセル」され、ログにはSIGTERMが表示されます。