pymongoを強制的にソケットを閉じることができますか？

Question

私は現在、分散コンピューティングに取り組んでいます。 私のワーカーは結果をmongoDBデータベースに挿入して返します。コードは正常に動作しますが、接続は開いたままで、システムのソケットが不足しています。 はここに私のワーカーのコードである：このコマンドを使用することにより

def worker(elt): 
    client=pymongo.MongoClient(MONGODB_URI) 
    db = client.get_default_database() 
    essaiElt = db['essaiElt'] 
    #compute here 
    essaiElt.insert(elt.toDict()) 
    client.close() 

「netstatコマンド-anbo」私はまだ開かれたすべてのソケットを見ることができる（以上3000）、労働者の最大数は14ですが、彼らはより多くに対処する必要があり10 000タスクより

... 
TCP 10.130.151.11:4999 10.130.137.128:27017 En attente 0 
TCP 10.130.151.11:5000 10.130.137.128:27017 En attente 0 

私はタイムアウトを設定しようとしましたが、何の効果もありません。

私のデータベースを再起動せずにソケットを閉じるにはどうしたらいいですか？

のPython 2.7.12 Pymongo 3.3 MongoDBの3.2.10

Answer 1

おそらく何が起こっているあなたは、クライアントを作成文書を挿入、および、毎秒何回クライアントを閉じ、です。 MongoClientは、シャットダウン処理を完了するまでに2〜2時間かかります。 （MongoClientはサーバーごとにバックグラウンドスレッドを開始し、これらのスレッドは即座に終了しません）。MongoClientがソケットを完全に閉じても、MongoDBサーバーはTCP接続に関連するすべてのリソースをクリーンアップし、OSのネットワークレイヤーはクリーンアップに数分かかります。 （Wikipedia's TCP entryにTIME-WAIT状態を参照してください。）

一般的に、あなたはPythonのプロセスの開始時に1 MongoClientを作成し、そのPythonのプロセス生涯を通じて1 MongoClientを使用する必要があります。

client = pymongo.MongoClient(MONGODB_URI) 

def worker(elt):  
    db = client.get_default_database() 
    essaiElt = db['essaiElt'] 
    #compute here 
    essaiElt.insert(elt.toDict()) 

ドン」操作ごとに新しいMongoClientを作成します。決してそれを閉じないでください。

はthe PyMongo FAQ参照：

プロセスごとに一度、このクライアントを作成し、すべての操作のためにそれを再利用します。リクエストごとに新しいクライアントを作成するのはよくある間違いであり、非常に非効率的です。