<code>sparkling-shell</code>を実行している場合スパークリングウォーターシェル

Question

が2GB以上の労働者のメモリ容量を増やすことができません：

bin/sparkling-shell 

次のエラーが発生します。

org.apache.spark.SparkException: Asked to launch cluster with 2048 MB RAM/worker but requested 20480 MB/worker 

我々はspark-env.shに次のように設定しています

export SPARK_WORKER_MEMORY=108GB 
export SPARK_WORKER_INSTANCES=4 

そして、spark-defaults.confの中では、

spark.executor.memory 20g 
spark.driver.memory  8g 

我々はシェルが起動するように得ることができる唯一の方法が2GBに労働者の記憶をリセットすることです：

spark.executor.memory 2g 

しかし、それは私たちの仕事を実行するための単純な方法は不十分です。誰でもこの問題の回避策を見つけましたか？

Answer 1

MASTER環境変数の内容は何ですか？

MASTERから"local-cluster[numOfExecutors,numOfExecutorCores,numOfExecMemory]"に設定した場合に発生する可能性があります。ここで、numOfExecMemoryはspark-defaultsファイルのメモリ要求よりも低くなります。

Answer 2

あなたの火花defaults.confにファイルにタイプミスがあります。ここでは

spark.executor.memory 20g 
spark.driver.memory  8g 

をspark.executor.memoryはワーカーノードあたり20480メガバイトに変換された（20ギガバイト= 20480メガバイト）20グラムに設定されています。したがって、エラー - >

org.apache.spark.SparkException: Asked to launch cluster with 2048 MB RAM/worker but requested 20480 MB/worker 

ここでは、20480 MBのワーカーを持つクラスターを作成するよう求めていると言います。あなたはちょうどあなたがしたいマウントに2グラムを変更する労働者一人当たりのメモリを増やしたい場合は

あなたがspark.executor.memory 2g

からspark.executor.memory 20g火花defaults.confにファイルを編集する必要があります。

また、このよう応じspark-env.shを編集：

export SPARK_WORKER_MEMORY=108GB 
export SPARK_WORKER_INSTANCES=4 

1 GBのメモリ各々とノードあたり4つのワーカー・インスタンスを作成します。

だから、spark-env.sh

export SPARK_WORKER_MEMORY=4g 
export SPARK_WORKER_INSTANCES=1 

に、各ノードを4GBたとえばたいと火花defaults.confにしている場合：RE

spark.executor.memory 4g 
spark.driver.memory  8g