スパークシェルのエグゼキュータとコアのデフォルト数

Question

sparkシェルでスパークプログラムを実行すると、プログラムがハープクラスター全体を何時間も悩ませる可能性がありますか？

通常、num-executorsおよびexecutor-coreという設定があります。

spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8 

しかし、それらが指定されていない場合、私は単に "spark-shell"を実行します...それはクラスタ全体を消費するでしょうか？または合理的なデフォルトが存在します。

Answer 1

ほとんどの設定プロパティのデフォルト値は、Spark Configuration documentationにあります。あなたの例の構成プロパティの場合、デフォルトは次のとおりです。

• spark.driver.memory = 1グラム
• spark.executor.memory = 1グラムYARNモードで
• spark.executor.cores = 1 、スタンドアロンモードで作業者上のすべての使用可能なコア。

また、あなたは（hereを説明するように）したいプロパティを持つファイル$SPARK-HOME/conf/spark-defaults.confを作成することによって、これらのデフォルトを上書きすることができます。次に、ファイルが希望の値で存在する場合、それらを引数としてspark-shellコマンドに渡す必要はありません。