スパークスタンドアロンクラスタを作成します。同じノード上でマスターとスレーブを実行できますが、別のノードのスレーブはマスターURLもマスターにも接続していません。スパークワーカーがマスターに接続していません
私が実行しているコマンド：spark-serverが私のマスターのホスト名です
start-slave.sh spark://spark-server:7077
。
masterからpingすることはできますが、masterのWebUIには同じマシン上で実行されている作業者以外は表示されません。クライアント・ノードはワーカーを実行していますが、独立しており、マスターに接続されていません。
を支援しますが、あなたのマスターノード上で "spark-env.shを" コンフィギュレーション・ファイルを確認してください。 SPARK_MASTER_HOST変数をマスターノードのIPアドレスに設定しましたか？設定しない場合は、マスターとスレーブを再起動してください。たとえば、マスタノードのIPが192.168.0.1の場合、SPARK_MASTER_HOST = 192.168.0.1がそこにあるはずです。この変数をスレーブに設定する必要はありません。
はいこれがうまくいった!! –
あなたは労働者はそれが【選択新しいワーカーノードは、あなたがspark-env.sh は、公式ドキュメントを確認してくださいいくつかのことを更新する必要がスパークマスターに追加する必要があるネットワーク接続性を有することを意味するからマスターノードにpingを実行できる場合Spark CLuster launch と更新reuired fileds。ここで
1あなたを助けることができる別のブログで）あなたがパスワードをノード
の間に以下SSHを設定していることを確認し、セットアップするには、以下のリンクにノード
間のパスワードレスSSHを参照してくださいhttp://www.tecmint.com/ssh-passwordless-login-using-ssh-keygen-in-5-easy-steps/
2）$ SPARK_HOME/confディレクトリ
に現在のファイルの奴隷で奴隷IPアドレスを指定しますあなたが奴隷でIPアドレスを指定すると
3）は、スパーククラスタ
[$に存在start-all.shスクリプトを実行を開始するファイルのマスターノードで[これは、confディレクトリを含むスパークフォルダです]マスターノード上のSPARK_HOME/sbinディレクトリ]
希望これは
あなたが私の答えが好きなら、タイトにしないでください... pls投票/オーナーとして答えを受け入れる。 – Bhavesh