次のURLをクロールする前に、リダイレクト処理を完了します。

Question

処理が302になるたびに、その処理がキューの最後の項目として追加されます。 Scrapyにリダイレクトを完了させ、その後の次のURLを処理させる方法はありますか？

Answer 1

コメント内にTomášが述べたように、REDIRECT_PRIORITY_ADJUSTはリダイレクト優先度を制御します。

しかし、この設定のデフォルトは+2なので、デフォルトのスクラップ設定で説明してもいけません。デフォルトでは、すべての治療要求は0にスケジュールされているので、すべてのリダイレクト要求は他の要求よりも優先される必要があります。

個別のリクエストの優先度は、priority引数でスケジュールできます。
たとえばあなたが100に優先順位を設定したい場合、あなたはこの記述します

yield Request("http://someurl.com", priority=100)