なぜSparkはすべてのノードにローカルファイルが存在する必要がありますか？

Question

ドライバプログラムが "sc.textFile"を実行すると、なぜファイルがすべてのノードに存在する必要がありますか？それをすべてのノードにコピーすると、重複データの実行をどのように処理するのですか？

Answer 1

スパークの観点からドライバには、重複

は、それはあなたが必要とするどのように多くのパーティションを決定し、それに応じてファイルを分割うがありません。あなたはその後、各エグゼキュータの

a.file - 0 to 1000 
a.file - 1001 to 2000 
a.file - 2001 to 3000 

のようなパーティションがある知ってもらうよドライバーに読み取るために、ファイルや特定のチャンクへのパスを持っています。彼らはあなたが共有ファイルシステムを使用しているのを知らない。重要な唯一のことは、ファイルへのパスを持ち、ファイルをどこから読み取るかを知ることです。 あなたはたった1人のエグゼキュータで終わるかもしれませんが、すべて同じように起こります。ただ1つのエグゼキュータはファイルの場所と読み込みチャンクを持つことになります。ファイル全体が処理されるまで1つずつ

これはHDFSとまったく同じ方法で動作します（私は複製係数が1と仮定しています）が、HDFSでは実際には1つのファイル（特定のマシンに座る）が1つだけのディレクトリです。エグゼキュータのすべてがそのディレクトリに移動します。レプリケーションファクタが1より大きい場合、スパークの観点からはまだ1つのディレクトリですが、ファイルのコピーが存在する別のノードに要求が送信されます。

Answer 2

すべてのスパークノードからアクセスできるローカルファイルシステムではなく、hdfsファイルシステムを使用します。