クラスタ内の少数のノードを使用するスパークジョブ

Question

私は5GBのデータとダンプをmongoDBに取り込むテストジョブを実行しています。 私は1つのマスターと3つのスレーブそれぞれ16のCPU、30GBのRAMを持っています。ジョブの提出後、スパークのように思えるのは2つのスレーブノードをジョブに使用し、ジョブに32のコアを割り当てますが、私は自分のジョブに動的割り当てを使用していますが、このジョブはこのクラスターで唯一実行しています3つのノードに使用されるコア（アプリケーションマスターヤーンのために1つ残っています）。私のクラスターにAWS EMRとヤーンを使用しています。

動的割り当てを使用してジョブに2ノードしか参加できず、ジョブに32コアしか割り当てられない特定の理由があります。

Answer 1

zipファイルは分割できません。ファイルを手動で解凍しないと、1台のマシンにしかロードできません。

タスクの合計数（200）は、SQL集計を使用していることを示しています。これは、最初のデータが実際に再分割され、構成に応じてSparkが局所性が高く、占有ノード数が少ない方が望ましい場合があります。

ファイルをSparkの入力として使用する前に、ファイルを展開することを強くお勧めします。