Python urllib2エラー

Question

私は私のサービスのために開く必要がある長いリストのURLを持っています。このリスト全体を開こうとすると、プログラムを起動するときに多くのエラーが表示されます：[Errno 24] Too many open files。私はurllib2とgeventを使用しています。

解決方法はありますか？

ありがとうございました。

Answer 1

Gevent.poolを使用すると、一度に特定の量のURLを開いてから、thayがURLを開いたときにそれらのグリーンレットを再利用するだけです。

Answer 2

あなたが正確に何をするのかまだ分かっていないので、私は一度に多くのURLを開いているだけです。代わりに、それらを開いたり開いたりして、次のものに進むべきです。

また、同時実行可能なURLローダーを作成することもできます。 URLを開き、それらを同時に読み取ろうとします。 1つを閉じた後、次のものを開くことができます。一度に5または10に制限すると、もう問題は発生しません。