ファイルを処理した後にmongodbに書き込む

Question

私は10,000のファイルを持っています。これらのファイルからいくつかの情報を抽出し、これらの情報をmongodbに書き込むためにPythonコードを使用します。これらの操作はすべて、1台のローカルコンピュータで実行されます。

私は物事をスピードアップするために、すべての操作を並行して行うために、Pythonのマルチプロセッシングパッケージを使用できますか？それを行うためのより良い方法はありますか？

Answer 1

はい、マルチプロセッシングは作業負荷の分散に役立ちます。たとえば、マシンに8つのコアがある場合、およそ8つのPythonプロセスがおそらくスループットを最大化します。それ以上にディスクI/Oの競合やCPU時間のためのMongoDBサーバーとの競合がボトルネックになります。 「multiprocessing.Pool.map」機能は、プロセス間で作業を分割するために特にエレガントです：

https://docs.python.org/2/library/multiprocessing.html#using-a-pool-of-workers