ScrapyでPDFファイルをダウンロードする

Question

私は、Scrapy、Python Web-Scrapingフレームワークを使用してサイトからpdfファイルを削っています。

サイトでは、pdfをダウンロードできるように同じセッションに従う必要があります。

これはすべて自動化されているので、Scrapyの機能は素晴らしいですが、数秒後にスクリプトを実行すると、自分のセッションなしでPDFに直接アクセスしようとすると偽のpdfファイルが表示されます。

なぜそうです&この問題を解決するにはどうすればいいですか？

Answer 1

私はサイトがあなたのセッションを追跡していると思います。それがPHPサイトの場合は、PDFファイルをダウンロードするリクエストにPHPSESSID Cookieを渡します。