マルチノードスパーククラスタ上のspark-shellは、リモートワーカーノード上でexecutorをスポンシングできません。

Question

最初のノードに2つのノードがあるスタンドアロンモードでスパーククラスタがインストールされています。私はワードカウントコードでワーカーノード上でスパークシェルを実行しようとすると、それは罰金実行されますが、私はマスターノード上でスパークシェルを実行しようとすると、それは次のような出力が得られます。

WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 

エグゼキュータはジョブを実行するためにトリガされません。そのような問題を与えるマスターを発火させるために利用できる労働者がいても。どんな助けもありますが、ありがとうございます

Answer 1

クライアント展開モードを使用すると、実行者ノードがローカルマシン上のドライバポートに接続できないことが最善の方法です。ファイアウォールの問題や、公表されたIP /ホスト名の問題の可能性があります。

• spark.driver.bindAddress
• spark.driver.host
• spark.driver.port

使用期待値：ことを確認してください。ネットワークセクションのSpark documentationを参照してください。

リソースが不足する可能性は低くなります。労働者が提供する以上のリソースを要求していないかどうかを確認してください。