スパーク - CPUコア数またはスレーブサーバのメモリをキャッピング

Question

私はSpark 2.1を使用しています。この質問は、Sparkスレーブサーバーのいくつかが他のアプリケーションを実行するユースケースです。特定のCPUコアまたはスレーブサーバのメモリだけを使用するようにSpark Masterサーバに指示する方法はありますか？

ありがとうございました。

Answer 1

sparkジョブで使用するコアの数を制限するには、--total-executor-coresオプションをspark-submitコマンドに追加する必要があります。各エグゼキュータが使用するメモリ量を制限するには、--executor-memoryオプションを使用します。たとえば：

spark-submit --total-executor-cores 10 \ 
      --executor-memory 8g \ 
      --class com.example.SparkJob \ 
      SparkJob.jar 

また、これは、火花シェル

spark-shell --total-executor-cores 10 \ 
      --executor-memory 8g