クッキー、ユーザーエージェント、およびプロキシのリクエスト処理でスパイダーボンドのログイン方法は？

Question

セキュリティプロトコルが強力で、できるだけ早くデータをクロールしたいウェブサイトをクロールしたいと考えています。だから私は、私はマルチログインクッキー、マルチユーザーエージェント、およびマルチプロキシクローラーが必要だと思った。

私は数十のユーザー名とパスワードを持っており、それぞれを使ってログインしてすべてのクッキーを取得できます。私のクローラのアイデンティティを隠すために、ユーザーエージェント設定と私のIPを置き換えるべきだと思った。私は多くのユーザエージェントとプロキシを発見しました。

私は、サーバーに要求を送信するたびにクッキーが必要であり、そのクッキーは同じIDで、前回の要求と対応する応答の情報を含んでいる必要があることを知りました。私は、ログインすることなくリクエストを渡す方法の知識を得たので、this答えてください。別insideそれ：そして、私は2つの（

from cookies import cookies # script written to login some accounts and return the cookies 
import random 

class CookiesMiddleware(object): 
    def process_request(self, request, spider): 
     cookie = random.choice(cookies) 
     request.cookies = cookie 

middleware.pyファイルにcookiesmiddlewareにクッキーを渡すことによって）でログインする方法、scrapy外のものを知っています。

ミドルウェアのファイルには何がありますか？私は、スクラピー要求にクッキーと同じようにランダムにユーザーエージェントを渡しました。

私の質問は、上記のようにランダムにクッキーを渡すと、1つのスパイダーがリクエストを送信するたびに同じクッキーを取得するのでしょうか？そうでなければ、サーバー側が私をボットとして検出し、私をブロックします。悪いことに、同じことがユーザーエージェントとプロキシにも当てはまります。ログインから始めて各トリニティ（ログインクッキー、ユーザーエージェント、プロキシ）を結びつけ、前述の答えを水平方向と垂直方向の両方に広げる方法は？

具体的には、{cookies= user1_cookie}または{ meta={'cookiejar': user1_cookie},の形式でログインCookieを渡す必要がありますか？私はユーザエージェントとプロキシをメタパラメータに渡す必要がありますか？

ありがとうございました。親切に私を正しい方向に向けると、どんな提案も高く評価され、高く評価されます。

Answer 1

あなたはcookiejarをお探しのようです。それはあなたが単一スパイダーセッションで複数のクッキーセッションを格納することができます。

ランダムなクッキーにミドルウェアを使用することは、ほとんどの場合クッキーが全体のブラウジングセッションを保存するため、悪い考えです。