問題
を介して配布DASKを使用してボケサーバーへのアクセス。私はトンネリングを介してマスターノードに接続し、bokehサーバーへのアクセス方法はわかりません。は、私は(MPIからDASKとDask.distributedに移動)画像解析を実行するためにクラスタを設定していますSSHトンネリング
ステップ
接続1. SSHトンネリングを経由して自分のサーバーのマスターノードへ:
ssh -L 7000:localhost:7000 [email protected]
2. [スタート私は(もポート7000でトンネリング)を使用するノードへdask-scheduler --port 7001 --bokeh 7002
3. ssh
とdask-worker --memory-limit=200e9
4. jupyter notebook --port=7000 --no-browser
を起動開始し、chrome
セッションを開き、を指してlocalhost:7000
5.スタートClient()
にブラウザをポイントスケジューラアドレス
が壊れていると私はdask-scheduler
ページからの出力を見ると、私は私のラップトップ
から、それを使用することはできません私が取得:
distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO - Scheduler at: tcp://130.237.132.207:7001
distributed.scheduler - INFO - http at: 0.0.0.0:9786
distributed.scheduler - INFO - bokeh at: 0.0.0.0:7002
distributed.scheduler - INFO - Local Directory: /tmp/scheduler-4we9jlcj
distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO - Register tcp://192.168.0.3:43973
distributed.scheduler - INFO - Starting worker compute stream,
tcp://192.168.0.3:43973
distributed.scheduler - INFO - Receive client connection: Client-6967349a-
872f-11e7-a595-0cc47a8ebf44
とclient
はに正しく接続しているようです労働者:
Scheduler: tcp://130.237.132.207:7001
Dashboard: http://130.237.132.207:7002
Workers: 1
Cores: 56
Memory: 200.00 GB
質問
1)ですスケジュールが設定されているport 7001
ではなく、ブラウザがport 7000
になっていますか?参考:localhost:7001またはスケジューラーとダッシュボードのIPのいずれかを使用すると、ブラウザから何もロードできません。 2)パフォーマンスを評価するためにbokehグラフにアクセスするにはどうすればよいですか?
3)追加のボーナス:私は、このような--memory-limit
感謝としてdask-ssh
と渡すパラメータを持つ複数のワーカーを起動することができる方法があります!
素晴らしいです!ありがとう!私は問題を開くでしょう! – s1mc0d3
私は昨日これをやろうとしていました(dask-sshでキーワードを渡してください)。それを追加してPRを作成するためのメモを作成します。その間に、いくつかのワーカーを立ち上げるための他の "クイック"な方法があります+ bokehポートを指定しますか? – zenlc2000
ほとんどの人は、このようなタスクを簡単にする、これのための仕事マネージャー(Marathon、Kubernetesなど)を使用しています。 SSHのような手動の方法を使用している場合は、cluster-sshのようなツールを試してみることもできます。 – MRocklin