URLを処理するワーカースレッドのキューを実装する方法

Question

私はPythonに新しく、スレッドとキューに関するいくつかの問題があります。

基本的に私はURLのファイルを持っており、ファイルを順番に処理してurllib2要求を実行する10人の作業者のキューを作成したいと考えています。

私はちょうどそれのまわりで私の頭を得ることができません！誰か簡単なリンクやコードでお願いします。

ありがとう、マット

Answer 1

アプリのために良い基盤となるキューになるだろう。すべてのマルチスレッドロックセマンティクスを処理します。

http://docs.python.org/library/queue.html

あなたのワーカースレッドをスピンアップ、あなたのキューを移入、あなたのファイルをロードし、それらをキューから引き出し、自分の仕事を行うことができます。

Answer 2

このpythonスレッドプールモジュールは、あなたの説明に非常に役立ちます。著者は、メインページとドキュメントでそれを使用する方法のいくつかの例を持っています。 「キュー」モジュールに内蔵され

http://www.chrisarndt.de/projects/threadpool/