サポートされているアルゴリズムと一般的なタスクグラフの実行の両方に、dask-distributedを使用したいと思います。残念ながら、使用しているバッチスケジューラはDRMAAをサポートしていないので、dask-drmaaは使用できません。すべてのホストがNFSを利用できます。 Daskを使用して起動する方法はありますか、バッチスケジューラでDRMAAをサポートする必要がありますか?非DRMAA、バッチスケジュール環境でDaskを使用するにはどうすればよいですか?
1
A
答えて
0
バッチスケジューラを使用して、通常のPythonプロセスであるdask-scheduler
およびdask-worker
プロセスを実行できます。あなたは共有ネットワークファイルシステム(NFS)を持っているので、これは特に簡単です。
次のコマンドを実行するためにあなたのバッチスケジューラを使用し
dask-scheduler --scheduler-file /path/to/some/new-file.json
また、次のコマンドを実行するためにあなたのバッチスケジューラを使用して、何度
dask-worker --scheduler-file /path/to/some/new-file.json
dask-worker --scheduler-file /path/to/some/new-file.json
dask-worker --scheduler-file /path/to/some/new-file.json
スケジューラと労働者がそのファイルによってその位置を調整します互いに同期させることができる。
あなたはその後、次のコマンドを使用して、同じネットワーク上の任意のPythonのセッションからこのクラスタに接続することができます
>>> from dask.distributed import Client
>>> client = Client(scheduler_file='/path/to/some/new-file.json')
さらなる情報はここで見つけることができます:http://distributed.readthedocs.io/en/latest/setup.html#using-a-shared-network-file-system-and-a-job-scheduler
関連する問題
- 1. EclipseStarterクラスからOSGi環境を使用できるようにOSGi環境を設定するにはどうすればよいですか?
- 2. GAEフレキシブル環境でデータストアのAPI環境を登録するにはどうすればよいですか?
- 3. クラスタ環境でゼロデイタイムデプロイメントを行うにはどうすればよいですか?
- 4. ASP.NET環境でコレクションを非同期で列挙するにはどうすればよいですか?
- 5. コンドーム環境をルート環境に「クローン」するにはどうすればよいですか?
- 6. Simply Schemeブックで使用するScheme環境を設定するにはどうすればよいですか?
- 7. WindowsバッチコマンドでJenkinsで環境変数を使用するにはどうすればよいですか?
- 8. SE環境でWeldとEclipseLinkを一緒に使用するにはどうすればよいですか?
- 9. Supervisordの[supervisord] configセクションで環境変数を使用するにはどうすればよいですか?
- 10. プロの環境でjbpmデモを使用するにはどうすればよいですか?
- 11. ステージング環境でgit flowを使用するにはどうすればよいですか?
- 12. ViewPagerでフラグメントの環境設定を使用するにはどうすればよいですか?
- 13. 迷惑な開発環境でreCaptchaを使用するにはどうすればよいですか?
- 14. MsgBoxでVBSのコンピュータ名環境変数を使用するにはどうすればよいですか?
- 15. K8でdev/test/cert/prod環境を使用するにはどうすればよいですか?
- 16. マルチスレッドHTTPClient環境で基本認証を使用するにはどうすればよいですか?
- 17. Eclipseの.classpathファイルで環境変数を使用するにはどうすればよいですか?
- 18. ドッカー実行コマンドで環境変数を使用するにはどうすればよいですか?
- 19. app.yamlファイルで環境変数を使用するにはどうすればよいですか?
- 20. 環境変数を使用してAWSコンフィグを管理するにはどうすればよいですか?
- 21. 環境変数NEO4J_AUTHを設定して使用するにはどうすればよいですか?
- 22. 新しい環境でC#ファーストコード移行を再利用するにはどうすればよいですか?
- 23. 家庭環境で化石(DVCS)を使用するにはどうすればいいですか?
- 24. Python仮想環境の外でOpencvを使用するにはどうすればいいですか?
- 25. DjangoとRails - Windows環境ではどうすればよいですか?
- 26. JavaScriptをコンソールのような環境で実行するにはどうすればよいですか?
- 27. 開発環境用のデータベースなしでSignInManagerを実装するにはどうすればよいですか?
- 28. Java用AWS SDKからElastic Beanstalk環境をクローンするにはどうすればよいですか?
- 29. 内部のMobileFirstハイブリッドアプリケーションを専用Bluemix環境に導入するにはどうすればよいですか?
- 30. PHP Facebookアプリケーション用にオフライン環境を作成するにはどうすればよいですか?