SPARK_WORKER_INSTANCESの設定がSpark Standalone Windowsで動作しない

Question

私は、スタンドアロンのSpark 2.0サーバを設定して、解析機能を並行して処理しようとしています。これを行うために、私は8人の労働者を1人の労働者ごとに1つのコアで経営したいと思っています。しかし、Spark Master/Worker UIは私の設定を反映していないようです。

私が使用しています：

• スタンドアロンスパーク
• のWindows Server 2008
• pyspark

spark-env.shファイルは以下のように設定されている2.0

8つのコア24gigのRAM以下：

SPARK_WORKER_INSTANCES = 8 
SPARK_WORKER_CORES = 1 
SPARK_WORKER_MEMORY = 2g 

次のようにスパークdefaults.confには構成されている：

spark.cores.max = 8 

Iは、マスターが開始：

spark-class org.apache.spark.deploy.master.Master 

Iは、バッチファイル内のこのコマンドを8回実行することにより、労働者を起動：

spark-class org.apache.spark.deploy.worker.Worker spark://10.0.0.10:7077 

問題は、UIが次のように表示されることです。

各作業者が1つのコアではなく8つのコアを持っているのを見ると、私はSPARK_WORKER_CORES設定で割り当てました。また、メモリは、各作業者に割り当てられた2gではなく、マシンメモリ全体を反映しています。スタンドアロンモードで各作業者ごとに1コア/ 2gで動作するようにSparkを設定するにはどうすればよいですか？

Answer 1

これは、コアとメモリの引数をワーカー自体に追加するように修正しました。

start spark-class org.apache.spark.deploy.worker.Worker --cores 1 --memory 2g spark://10.0.0.10:7077