Apache Sparkでのデータ配信

Question

私はスパークするのが初めてで、一般的な質問があります。すべてのファイルが処理されるすべてのワーカーノードで利用可能でなければなりません。ドライバーはパーティションを制御しますが、ドライバーはどのパーティションをどのように読み取るように指示しますか？

Answer 1

各RDDは複数のパーティションに分割されています。各パーティションを計算するために、Sparkはタスクを生成してワーカーノードに割り当てます。ドライバが作業者に作業を送信すると、その作業のPartitionIDも指定されます。

作業者は、RDDのイテレーターをInputRDDまで連鎖させ、PartitionIDを渡してタスクを実行します。 InputRDDは、指定されたパーティションIDに対応する入力のどの部分を決定し、データを返します。

rddIter.next -> parentRDDIter.next -> grandParentRDDIter.next -> ... -> InputRDDIter.next 

Answer 2

スパークは、近くにあるノードからRDDにデータを読み込もうとします。 Sparkは通常、分散パーティション化データにアクセスするため、変換操作を最適化するために、データチャンクを保持するパーティションを作成します。

https://github.com/jaceklaskowski/mastering-apache-spark-book