2017-03-12 5 views
1

サポートされているアルゴリズムと一般的なタスクグラフの実行の両方に、dask-distributedを使用したいと思います。残念ながら、使用しているバッチスケジューラはDRMAAをサポートしていないので、dask-drmaaは使用できません。すべてのホストがNFSを利用できます。 Daskを使用して起動する方法はありますか、バッチスケジューラでDRMAAをサポートする必要がありますか?非DRMAA、バッチスケジュール環境でDaskを使用するにはどうすればよいですか?

答えて

0

バッチスケジューラを使用して、通常のPythonプロセスであるdask-schedulerおよびdask-workerプロセスを実行できます。あなたは共有ネットワークファイルシステム(NFS)を持っているので、これは特に簡単です。

次のコマンドを実行するためにあなたのバッチスケジューラを使用し

dask-scheduler --scheduler-file /path/to/some/new-file.json 

また、次のコマンドを実行するためにあなたのバッチスケジューラを使用して、何度

dask-worker --scheduler-file /path/to/some/new-file.json 
dask-worker --scheduler-file /path/to/some/new-file.json 
dask-worker --scheduler-file /path/to/some/new-file.json 

スケジューラと労働者がそのファイルによってその位置を調整します互いに同期させることができる。

あなたはその後、次のコマンドを使用して、同じネットワーク上の任意のPythonのセッションからこのクラスタに接続することができます

>>> from dask.distributed import Client 
>>> client = Client(scheduler_file='/path/to/some/new-file.json') 

さらなる情報はここで見つけることができます:http://distributed.readthedocs.io/en/latest/setup.html#using-a-shared-network-file-system-and-a-job-scheduler

関連する問題