クラスタ内でスパークドライバを起動できません

SparkLauncher〜を使用してSpark Clusterにジョブを送信すると、ワーカーノードの1つでSparkドライバが起動します。しかし、ドライバの起動は常にこの例外で失敗します。16回表示されます：クラスタ内でスパークドライバを起動できません

level="WARN",threadName="main",logger="org.apache.spark.util.Utils",message="Service 'Driver' could not bind on port 0. Attempting port 1."

誰にもアイデアはありますか？彼はポート番号が間違って見える

出典

2016-04-29 K P

ポート番号が正しくないように見えますが、spark.driver.portを通じて変更することができます。 – tesnik03

この値のランダムなポートに入れた後、それは機能しました。ありがとう！ https://spark.apache.org/docs/latest/configuration.html "spark.driver.port \t（random）"によると、ランダムにする必要がありますが、それは0を選んだままにしておくのが奇妙です。私はそれを設定しませんでした確かに。あなたのコメントを回答として追加することができますか？ –

追加、ありがとうございました！ – tesnik03

、私はついにそれを考え出し

出典

2016-04-29 11:13:38 tesnik03

spark.driver.portを通してそれを変更することができます。からジョブを起動しているマシンから環境変数SPARK_LOCAL_IP = 0.0.0.0を設定すると、それを修正するようです。ドキュメントごとに、クラスタ内の任意のワーカーノードでドライバを実行するランダムなポートを選択します。 @yynyのコメントごとに、ドライバのポートを修正する場合は、 "spark.driver.port"を使用できます。

出典

2016-04-29 19:24:19

ニース、それは素晴らしい！ – tesnik03

あなたは私の答えを受け入れることができますか？ –

それはあなた自身の答えだったので、実際には私はできませんでしたが、私はあなたにアップしました。 – tesnik03

クラスタ内でスパークドライバを起動できません

答えて

関連する問題