Pythonでのマルチスレッド/マルチプロセッシング中に重複した結果を避けるには？

Question

私はわずか数週間前にPythonでプログラミングを始めました。私はJavaにいくつかの経験がありますので、セットアップするのが難しくありませんでした。

今、私はURLLibを使用してサイトリストのソースコードをスクラップするプログラムを持っています。

私は何千ものサイトを掻き集めるので、私は明らかにそれをマルチスレッドまたはマルチプロセスにしたいと思っています（私は実際にその違いを知らない）。

良いことは、私のマルチスレッドが機能することです！しかし、私のスレッドのすべてがまったく同じサイトを擦っているので、私には基本的に無意味です。

どうすればこの問題を回避できますか？事前に助けてくれてありがとう:)

Answer 1

グローバルインタープリタロックはスレッドがインタプリタでコードを同時に実行できないため、マルチスレッドとマルチプロセッシングの違いはPythonでは重要です。 Webスクレイピングの目的では、スレッドがWebリクエストのみを実行する（スレッドが待機中にブロックするように）限り、スレッドを使用することは問題ありません。応答の処理を並行して実行したい場合は、multiprocessingを使用して各サブプロセスに独自のインタプリタを持たせ、CPUコアを活用できるようにすることをお勧めします。

重複の問題に関しては、サイトのリストをスレッドまたはサブプロセスに配布する方法にバグが存在する可能性があります。 multiprocessingにはQueueがあり、これはプロセスセーフです（スレッドセーフでもあります）。これは、2つのサブプロセスが同時にキューからgetにしようとすると、同じサブプロセスの代わりにキューから順次アイテムが与えられることを意味します。

要約すると、各サイトはQueueのメインスレッドからput、次に各ワーカースレッドまたはサブプロセスからはgetになるはずです。