spark master windows7を起動する

Question

win7-64、jdk8、sparks1.6.2を使用する。 spark running、winutils、HADOOP_HOMEなど

注：起動スクリプトは現在Windowsをサポートしていません。 Windows上でSparkクラスタを実行するには、マスターとワーカーを手で開始してください。しかし、どのように言わないのですか？

Windowsでspark masterを起動するにはどうすればよいですか？

はGitのbashのスルーのsh start-master.shを実行しようとしました：それは7077 --webuiポート8080 --portサム・東芝--ip マスターを出力していてもfailed to launch org.apache.spark.deploy.master.Master:を - だから私は何のすべてを知っていませんこれの意味は。 しかし、私はspark-submit --class " " --master spark://Sam-Toshiba:7077 target/ .jarしようとすると - を私はエラーを取得： はAbstractLifeCycleをWARN：FAILED SelectChannelConnector@0.0.0.0： 4040：java.net.BindException：すでに使用されている住所：バインド java.net.BindException：使用

ですでに住所

WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041. 
17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077 
java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077 
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216) 

も試してみましたスパーク：// localhostを：7077 - あなたはコマンドの下に使用してマスターを起動することができます。Windowsの場合と同じエラー

Answer 1

。コマンドプロンプトを開き、binフォルダをスパークし、上記のコマンド

spark-class.cmd org.apache.spark.deploy.master.Master 

を実行するために行くには、あなたのマシンのIPごとにコンソールにMaster: Starting Spark master at spark://192.168.99.1:7077のように印刷されます。 UIを確認することができます。http://192.168.99.1:8080/

マスターが起動したら、次のコマンドを使用できます。これにより、使用可能なすべてのコアが使用されます。

spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077 

あなたがマシンのあなたの4つのコアの2つのコアを利用したい場合は、私が正常にマスターを起動することができますが、接続することができません

spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077