クラスタを停止した後、Google Cloud DataprocクラスタのJupyterノートブックを再度開くことができません。

Question

Google Cloud Dataprocを使用してJupyterノートブックを実行していました（以下の手順：https://cloud.google.com/dataproc/docs/tutorials/jupyter-notebook）。

ノートブックを実行して保存した後、ある時点で（GUIを使用して）クラスタを停止しました。この場合、私は知らない（また

"This site can't be reached. The webpage at http://<my-cluster-name>:8123/ might be temporarily down or it may have moved permanently to a new web address. ERR_SOCKS_CONNECTION_FAILED." 

：その後、私は、クラスタを再起動し、同じ命令で再びJupyterノートブックを実行しようとしましたが、最後のステップでは、私はChromeでJupyterを開こうとすると私が取得します私はこれらのメッセージを持って、私は私のクラスタに-EDをSSHターミナルウィンドウで

ERROR:child_thread_impl.cc(762)] Request for unknown Channel-associated interface: ui::mojom::GpuMain 
Google Chrome[695:8548] NSWindow warning: adding an unknown subview: <FullSizeContentView: 0x7fdfd3e291e0>. Break on NSLog to debug. 
Google Chrome[695:8548] Call stack: 
(
"+callStackSymbols disabled for performance reasons" 
) 

：

channel 3: open failed: connect failed: Connection refused 
channel 4: open failed: connect failed: Connection refused 
channel 5: open failed: connect failed: Connection refused  
channel 6: open failed: connect failed: Connection refused 
channel 12: open failed: connect failed: Connection refused 
channel 12: open failed: administratively prohibited: open failed 
channel 13: open failed: administratively prohibited: open failed 
channel 14: open failed: administratively prohibited: open failed 
channel 14: open failed: connect failed: Connection refused 
channel 8: open failed: connect failed: Connection refused 

また、私がメッセージを持って、私は私のブラウザを設定して、ターミナルウィンドウで）役立ちます耳私がクラスターを停止する前に、私はジュピターノートを閉じ、クラスターから切り離し、ジュピターノートを再び開くことができました。私はクラスタを停止した後でこの問題に遭遇しました。何が起こっているのでしょうか？

Answer 1

これは、現在のinitialization actionが、launch-jupyter-kernel.shを呼び出すjupyterノートブックサービスを明示的に起動するためです。初期化アクションは、起動時に再実行されないという点でGCEスタートアップスクリプトと同じではありません。初期化アクションは冪等である必要はなく、起動時に再起動したい場合は、init.d/systemd設定を追加して明示的に行う必要があります。

マスターへの一回限りのケースでは、あなたができるだけのSSH、その後の操作を行います。あなたは、これは起動時に自動的に行わしたい場合は

sudo su 
source /etc/profile.d/conda.sh 
nohup jupyter notebook --allow-root --no-browser >> /var/log/jupyter_notebook.log 2>&1 & 

、あなたはしかし、startup script via GCE metadataにそれを置くことを試みることができますクラスタ作成時にその作業を行っている場合は、Dataproc初期化アクションと衝突しないようにする必要があります（また、起動スクリプトがdataproc initアクションの前に実行される可能性があるため、最初に試してみたいことがあります静かに失敗する）。

長期的には、初期化アクションを更新してinit.d/systemdにエントリを追加して、initアクション自体が再起動時に自動再起動を構成するようにする必要があります。現時点ではこれに専念する人はいませんが、あなたやあなたが知っている人が仕事に就いていれば、貢献は常に高く評価されます。私はこの機能を追跡するためにhttps://github.com/GoogleCloudPlatform/dataproc-initialization-actions/issues/108を提出しました。

Answer 2

sshを使用してマスターマシンに接続して問題を解決し、systemdサービスを作成しました（上記のdennis-huoのコメントに続きます）。

1. 行くには/ usr/libに/にsystemd /システム
2. 須藤秀

3. コンテンツ

   [Unit] 
   Description=Start Jupyter Notebook Server at reboot 
   
   [Service] 
   Type=simple 
   ExecStart=/opt/conda/bin/jupyter notebook --allow-root --no-browser 
   
   [Install] 
   WantedBy=multi-user.target 
   

4. systemctlデーモンと "jupyter-notebook.service" と呼ばれるにsystemdユニットファイルを作成します-reload

5. systemctl enable jupyter-notebook.service
6. sys temctl start jupyter-notebook。サービス

次のステップでは、上記のコードをdataproc-initialization-actionsに含めることになります。 希望に役立ちます。