sc.textfileを使用しているときにテキストファイルを読み込むのはドライバかワーカーですか？

Question

Sparkでsc.textfileがどのように使用されているのでしょうか。私の推測では、ドライバは一度にファイルの一部を読み込み、読み込んだテキストをワーカーに配布して処理します。それとも、労働者が運転手の関与なしに、ファイルから直接テキストを読むのですか？ refで述べたように

Answer 1

ドライバはファイルメタデータを調べます。ファイルメタデータが存在するかどうかをチェックし、ディレクトリの場合はそのファイルがディレクトリにあるかを確認し、サイズを確認します。その後、ファイル内容の実際の読み取りを行う作業者に作業を送信します。通信は本質的に「あなたがこの長さの間、このオフセットから始めてこのファイルを読んでいる」。

HDFSは大きなファイルをブロックに分割し、スパークは（通常/頻繁に）ブロックごとにタスクを分割するので、そのオフセットにスキップするプロセスは効率的になります。

他のファイルシステムは、必ずしもそうではありませんが、同様に動作する傾向があります。コーデックが分割可能でない場合、圧縮はこのプロセスを混乱させる可能性があります。

Answer 2

textfileは、RDDを作成します。

テキストファイルRDDSがSparkContextのテキストファイルのメソッドを使用して作成することができます。

このノートもあります：ローカルのファイルシステム上のパスを使用している場合

、ファイルも ワーカーノードで同じパスにアクセスできる必要があります。ファイルを すべてのワーカーにコピーするか、ネットワークマウントの共有ファイルシステムを使用してください。

これは、ファイルを解析してからスレーブに配信するドライバに関するあなたの推測が間違っていることを意味します。