pyspark spark.executor.memoryはコアまたはノードごとですか？

Question

私はスパーククラスターに24のコアと124GbのRAMを持つノードを持っています。 spark.executor.memoryフィールドを80gに設定すると、ノードごと、またはコアごとに80gのRAMを使用できることが予想されますか？

Answer 1

エグゼキュータごとに、複数のコアを持つように設定できます。あなたは、次の関連する設定を指定できます。

• spark.executor.coresを - 各エグゼキュータは
• spark.executor.instancesを持つ必要がありますどのように多くのコア - どのように多くの執行総クラスタ全体
• spark.executor .memory - あなたが唯一の1を持っている小さな執行を作りたいかどうかを選択することができますどのくらいのメモリドライバ

に与える - 各エグゼキュータに

spark.driver.memoryを割り当てるには、どのくらいのRAMエグゼキュータごとにコア、または1つのモノリシックエグゼキュータです。典型的には、私はそれが真ん中のどこかに行くのが最善であると思う。エグゼキュータごとに複数のコアを持つことで、ブロードキャストデータなどのコア間でメモリを共有することができますが、単一の巨大なエグゼキュータを使用すると、コアのクラッシュがエグゼキュータ全体のすべてのタスクを停止します。

また、ドライバとオペレーティングシステムの両方にいくつかのコアとRAMを残しておく必要があります。だから、実際の設定のためにあなたがあるためにあなたのエグゼキュータのメモリを必要と何かのように：

NUM_EXECUTORS =（desired_total_executor_cores/num_cores_per_executor） EXECUTOR_RAM =（desired_total_executor_ram/NUM_EXECUTORS）