タスクとパーティションの関係は何ですか？

Question

私は言うことができますか？

1. Sparkタスクの数はSparkパーティションの数と同じですか？

2. エグゼキュータは一度実行されます（エグゼキュータのバッチ内）は1つのタスクと同じですか？

3. すべてのタスクでパーティションが生成されますか？

4. Sparkパーティションの数に等しい数のSparkタスクがありますか？

Answer 1

パーティションはRDDの機能であり、設計時（アクションが呼び出される前）にのみ使用できます。

タスクは、TaskSetのStage/ActiveJobのSparkアプリケーションの一部です。

Sparkタスクの数はSparkパーティションの数と同じですか？

はい。

エグゼキュータは1回実行されます（エグゼキュータのバッチ内）は1つのタスクと同じですか？

これは再帰的に「エグゼキュータ」を使用しており、それほど意味がありません。

すべてのタスクでパーティションが生成されますか？

ほぼ。

すべてのタスクは、パーティション内のデータのコードを実行する出力を生成します。

Sparkパーティションの数に等しい数のSparkタスクがありますか？

ほぼ。

一段でスパークタスクの数はRDDパーティションの数に等しいです。