Chromeのドライバはどのように機能しますが、Firefox、PhantomJS、HTMLUnitはどのように動作しますか？

Question

Python + Selenium + BS4の動的コンテンツ（javascript）ページをスクラップしようとしていて、ページが自分のリクエストをランダムにブロックしています（ソフトはF5 AMS）。

私が指定したブラウザごとにユーザーエージェントを変更することで、この問題を回避することができました。問題は、Chromeドライバのみが拒否を渡すことができることです。 PhantomJSやFirefoxのドライバに合わせて調整された同じコードは、ユーザエージェントを変更していないように、が常ににブロックされています。

私はマルチスレッドであると言わなければなりません。つまり、同時に4つのブラウザを起動することです。

どうしてですか？ファイアウォールを通過できるChrome Webdriverは何を提供しなければならないのですか？

私は実際にFirefoxに変更したいので、結果を得る必要があるため、FirefoxをChromeと同じように通過させたいと思います。

Answer 1

2つの単語：ブラウザ指紋。それはそれ自身の権利の中で巨大な話題であり、Tarunが言及したように、この問題をその頭に釘付けするためにかなりの量の研究が必要となる。しかし、私は信じることができる。