Scrapyやその他の簡単な方法でサードパーティのCookieをすべて取得するにはどうすればよいですか？

Question

埋め込み動画やGoogleカレンダーなどのサードパーティのCookieを含む、ドメインのすべてのCookieを取得するには、Python Scrapyを使用します。

私は最初にScrapyを使ってHTTPヘッダーの「Set-Cookie」フィールドをチェックしましたが、ファーストパーティのCookieしか取得できませんでした。

次に、すべてのクッキーを取得するためにすべてのjsを読み込むためにScrapy + Selenium + Chromedriverを試しました。しかし、これは非常に遅いです。私はこの記事を見つけ、PhantomJSを試しました：How to get 3rd party cookies?私は同じことをしましたが、空のcookie.txtファイルがあります。

私はウェブサイトからすべてのクッキーを簡単に取得する方法があるのか​​、それともどのように修正するべきなのでしょうか？

ありがとうございます。

Answer 1

ほとんどのPythonスクレイピングツールは、JavaScriptを実行できず、多くの（たぶんほとんどの）サードパーティのCookieがスクリプトによって直接的または間接的に設定されるため、完全にクッキーを取得することはありません。

したがって、実行中のようなブラウザの自動化を使用する必要があります。 phantomjsに関して、最も確かにはがAPIを介してすべてのクッキーを返します。セレン+クロムドライバーが行く限り、ファーストパーティのクッキーを返すだけです。 PhantomJSは実際には厳密にクッキーを収集するための最良のオプションです。別のオプションは、セレンのchrome/firefoxの新しいプロファイルを作成し、一時ファイルのパスを見つけて、sqliteで直接Cookieデータベースを開くことです。

また、サードパーティのリクエストとCookieをキャプチャするために設計されたwebxrayなどのツールを試すこともできます。https://github.com/timlib/webXray（開示：私が書きました）。