スタンドアローンモードで複数のスパークアプリケーションを異なるワーカーノードで実行するにはどうすればよいですか？

Question

1.Iは、端末

./sbin/start-all.sh

にこのコードを実行しなかった./conf/spark.env.sh

**export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=1" 
export SPARK_WORKER_OPTS="-Dspark.deploy.defaultCores=1" 
export SPARK_WORKER_CORES=1 
export SPARK_WORKER_MEMORY=1g 
export SPARK_WORKER_INSTANCES=7** 

2.Iこれらの行を追加しました労働者とマスター3.Allは

はstarted..iがWeb UIに私は複数のスパーク申請書を提出し

4.afterをそれを見ることができます

1アプリケーションでは2秒しかかかりませんが、6アプリケーションではそれぞれのアプリケーションで8秒かかります

これは端末で実行した.shファイルです。

gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 41' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 42' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 43' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 44' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 45 ' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 46' -x 'excute' 

私はそれは私が、各アプリケーションがマスター上で実行されていると思います以上8秒

をとり、これらのコードを実行しなかった...... 私は火花の各コア上で並列アプリケーションを実行したいです。 私はどのように複数のスパークアプリケーションを並列実行しますか？

Answer 1

私は、1つのサーバー上ですべてのワーカーを実行してクラスタをシミュレートしていると思います。

実行コアは通常のコアとは異なります。

executorコアは、実行プログラムが実行できる並行タスクの数です。 ワーカーコア - ワーカーを実行させるのは "CPUコア"です。

Sparkでは、Sparkアプリケーションがワーカーでのみマシン上で使用できるようにするために、CPUコアの総数を定義するスレーブ起動時のCPUコアの量を設定するオプションがあります。 デフォルトは次のとおりです。 ./sbin/start-all.sh --cores 2

それとも、あなたが火花を提出し実行しているノードをかもしれませ--executor-cores 2