2017-09-05 12 views
0

異なるポートを定義することにより私は、同じマシン上の2つのマスターを起動するには期待していたが、それは惨めに失敗しました:同じマシンに2つのスパークマスター/ワーカーを作成するには?

$ $SPARK_HOME/sbin/start-master.sh --port 8001 --webui-port 8011 
starting org.apache.spark.deploy.master.Master, logging to /Users/brandl/bin/spark-2.2.0-bin-hadoop2.7/logs/spark-brandl-org.apache.spark.deploy.master.Master-1-scicomp-mac-12.local.out 
$ $SPARK_HOME/sbin/start-master.sh --port 8002 --webui-port 8012 
org.apache.spark.deploy.master.Master running as process 29436. Stop it first. 

をその作業ではないのはなぜ?複数のインスタンスを使用できるように設定を調整する必要はありますか?

同じロジックに従って、同じマシン上で2人のワーカーを開始することができます。それらは異なるマスタに接続されるようになっている場合でも、しかし、これは同様のエラーでも同様に失敗します。

$SPARK_HOME/sbin/start-slave.sh --webui-port 8050 spark://foo:7077 
starting org.apache.spark.deploy.worker.Worker, logging to /Users/brandl/bin/spark-2.2.0-bin-hadoop2.7/logs/spark-brandl-org.apache.spark.deploy.worker.Worker-1-scicomp-mac-12.local.out 
starting org.apache.spark.deploy.worker.Worker, logging to /Users/brandl/bin/spark-2.2.0-bin-hadoop2.7/logs/spark-brandlorg.apache.spark.deploy.worker.Worker-2-scicomp-mac-12.local.out 
$SPARK_HOME/sbin/start-slave.sh --webui-port 8051 spark://bar:7077 
org.apache.spark.deploy.worker.Worker running as process 29503. Stop it first. 
org.apache.spark.deploy.worker.Worker running as process 29526. Stop it first. 

spark standalone docsをチェックするが、私が間違ってやっていることについてどのガイダンスを見つけることができなかった場合。

答えて

0

ここに答えがなかったので、私はスパークソースに戻り、エラーがスローされたcode bitsを検索しました。これは、デフォルト値は、ユーザ名($USER

ある
$ $SPARK_HOME/sbin/start-master.sh --port 8001 --webui-port 8011 
export SPARK_IDENT_STRING=foo 
$ $SPARK_HOME/sbin/start-master.sh --port 8002 --webui-port 8012 

異なる SPARK_IDENT_STRING複数のマスタと労働者を設定することで、同じマシン上で実行できることをrevelaled
関連する問題