Pythonを使用してネットワークログを取得する

Question

一般に、ページが読み込まれると、いくつかの要求が送信されます。これは、クロム開発ツールのネットワークタブに記録できます。

私の主な動機は、ページがpythonスクリプトを使用して読み込まれるたびに、すべてのネットワーク要求を記録することです。私が収集しようとしているすべての要求を示すために、サンプルスクリーンショットが添付されています。私はpythonでurllibはライブラリを使用して同じことを達成しようとしています

Image for Network Hit Logs

、しかし、私は、使用の正確わかりません。

ご返信をお待ちしております。前もって感謝します。

Answer 1

urllibライブラリのファミリでは、これを行うことはできません。 AJAXリクエストをキャプチャするには、ブラウザのようにJavascriptをサポートするものを使用する必要があります。

この場合、最良の選択肢はSeleniumを使用して、Selenium Web Driverを使用するスクリプトを作成し、使用しているブラウザを駆動し、プッシュされたAJAX要求を取得/記録することです。