問題スパークシェル

を開いている間、私は、コマンド問題スパークシェル

$火花シェル

を使用して火花を開こうとしますが、警告を取得しています。それを修正する方法。

警告：デフォルトで

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

出典

2016-12-06 animal

これらのポートは空きますか。それを確認できますか？あなたはバックグラウンドで他のスパークプロセスを持っていますか？構成コード –

も提供してください。無料ではありません。どうすれば無料にすることができますか？ – animal

一時オプション：プロセスを終了します。しかし、何が起こっているのか調べるために、私たちはあなたのコードを見なければならないかもしれません。おそらく問題があります。 –

、スパークは、次のメッセージがないにISN 4040

上で実行されているスパークプロセスがすでに存在しているあなたのケースではポート4040 をバインドしようとしますスパークなどのエラーは、ポート4041上で実行されます：

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

Spark Documentationから：

すべてのSparkContextは、デフォルトでポート4040でWeb UIを起動し、はアプリケーションに関する有用な情報を表示します。

複数のSparkContextが同じホスト上で実行されている場合は、4040（4041,4042など）で始まる連続するポートにバインドされます。コマンドプロンプト

[のHadoop @ localhostの〜] $火花シェル--conf spark.ui.port =デフォルトでは4041

、スパークで実行しているときにいつでも変更することができます

出典

2016-12-07 14:32:26

はい、私はそれを理解しました。コメントも更新しました。しかし、両方のポートがビジー状態のときの解決策は何ですか。私の場合、両方のポートが混雑しているのでシェルは止まってしまいます。 – animal

4040と4041がビジーの場合、4042,4043にバインドされます... –

何も起こっていません。 – animal

スパークポート4040

出典

2017-10-15 13:09:44

答えて

関連する問題