Webサイトを識別するIDのリストがあります。私はこれをする必要があります:同じタスク(Python)を実行している多くのSeleniumブラウザ
Open a browser
open a main website that allows a query
for id in ids:
-search in the main website the id,
so that I get the website corresponding to the id with the browser
-load the website corresponding to id with the browser
-do some stuff with the info in the website
それぞれのループは10秒かかることがあります。もし私が多くのidsを持っていれば、これはもちろん問題です。
私はループが独立していることに気付きました。これは、2でIDリストを分割すると、上記のボックスのように見える2つのpythonスクリプトを作成し、異なる端末から実行すると半分の時間を費やすことになります。異なるブラウザでループを同時に(例えば、同時に6ループ)実行する方法はありますか? (実際にはすべてFirefoxだが、異なるウィンドウ)。
私がしたいのは、IDのキューを作成し、メインWebサイトでFirefoxウィンドウの番号(たとえば6個)を持つことです。キューの最初のIDが最初のウィンドウに移動し、ループが開始されます。 2番目のid ...など...ループが完了すると(たとえば、ウィンドウ番号3が他のすべてのウィンドウより前にループを終了すると)、そのウィンドウは次のループで使用できるので、キューの次のIDはそのウィンドウによって処理されます。
私の言語はあまり技術的ではない場合は申し訳ありません。ご協力いただきありがとうございます。
これは私が行ってきたものです。とにかく読んでくれてありがとう。 –
@VladimirVargasあなたは、FIFO形式を使ってリスト全体の1/5をサービスするオープンなブラウザのセット数を設定したいと思っていますか? – geo1230
どのようなFIFOスタイルがわかりません。しかし、私は最後の段落が私が望むものを要約していると思う。私はそのツールを使ってそれを行うことができるかどうかを知るためにマルチプロセッシングについて読んでいます。 –