Apache Sparkのパーティション

Question

私は1つのマスタ10ワーカーノードで構成されるクラスタを持っています。パーティションの数を3に設定すると、マスターノードは3つのワーカーノードしか使用しないか、それらのすべてを使用するのでしょうか？それらはすべてが使用されていることを示しているからです。

Answer 1

質問は

あなたは10件のエグゼキュータでジョブを起動すると、スパークアプリケーションマスターは糸からすべてのリソースを取得するのを助けるかもしれないあなたが、しかし、次のことを求めているかについてそれほど明確ではありません。したがって、すべてのエグゼクティブは既にスパーク・ジョブに関連付けられています。

ただし、データパーティションが使用可能なエグゼキュータの数より少ない場合、残りのエグゼキュータはアイドル状態になります。したがって、パーティションの数をエグゼキュータの数より少なく保つことは良い考えではありません。