sparkのアプリケーション、ジョブ、ステージ、タスクのコンセプトは何ですか？

Question

私の理解は正しいですか？

1. アプリケーション： spark submit。

2. job： 遅延評価が行われると、ジョブが発生します。

3. ステージ： シャッフルと変換タイプに関係します。 ステージの境界を理解することは難しいです。

4. タスク： 単位操作です。タスクごとに1つの変換。変換ごとに1つのタスク。

この理解を向上させたいと考えています。

Answer 1

主な機能はアプリケーションです。

RDDでアクションを呼び出すと、「ジョブ」が作成されます。ジョブはSparkに提出された仕事です。

ジョブは、シャッフル境界に基づいて「段階」に分割されます。 Thisを理解するのに役立ちます。

各ステージは、RDDのパーティション数に基づいてさらにタスクに分割されます。そのため、タスクはSparkにとって最小の作業単位です。