Scrapyリクエストでcaptcha画像をアップロード

Question

2Captcha.comサービスを使用してcaptchaを解決しようとしています。まず、キャプチャ画像を保存しています。

urllib.urlretrieve(captcha_image_link, 'captcha.jpg') 

次は、画像をサーバーにアップロードして認識する必要があります。プレーンな要求をそのまま使用する

files = {'file': open('captcha.jpg', 'rb')} 
payload = {'key': TWOCAPTCHA_APIKEY, 'method': 'post'} 
request = requests.post('http://2captcha.com/in.php', files=files, data=payload) 

しかし、どのようにScrapyで同じ要求をするのですか？つまり、画像ファイルをPOSTリクエストに添付する方法は？これは可能ですか？もしそうでなければ、Scrapyスパイダーの中でプレーンなPOSTリクエスト（そしてurlretrieveも同様）を使うのはあまりにも悪い考えかどうかを知りたいですか？

Answer 1

あなたはScrapyを（documentationを参照）を使用してPOSTリクエストを送信することができますが、考慮すべき二つのものがあります。

1. あなたはrequests.postがあなたのためにこれを行いながら、ファイルを自分でエンコードしなければならないでしょうが。
2. Scrapyは要求を非同期で送信しますが、これはおそらくcaptchaを解決する必要があるときには必要ではありません。

このように、Scrapyスパイダーの内部で現在のaproachを使用しても何も問題はありません。