分散クラスタ上でPythonコードを実行する

Question

Pythonを使用して5000個のファイルを並列に実行する必要があります。私はシーケンシャルなシングルマシン版をすでに実装しています。並列にコードを実行する最も簡単な方法は何でしょうか（ec2クラスターを使用するなど）？私自身のタスクスケジューラとジョブ配布コードを書くべきですか？

Answer 1

あなたが見ることができますpscheduler Pythonモジュール。これにより、ジョブをキューに入れて順次実行することができます。並行プロセスの数は、使用可能なCPUコアに依存します。このプログラムはあなたのジョブをリモートマシンに簡単に拡大して提出できますが、すべてのリモートマシンにNFSを使用する必要があります。

さらにお手伝いします。