Sparkは、順序付けされたファイルを読み込むときにレコードの順序を保持しますか？

Question

私はレコード（この場合はcsvファイル）を読み込み、処理するためにSparkを使用しています。ファイルはすでに何らかの順序で入っていますが、この順序はどの列にも反映されません（時系列として考えるが、タイムスタンプ列はなく、各行はファイル内の相対的な順序にある​​）。 Spark処理でこの注文情報を使用して、前の行と行を比較するなどの作業を行いたいとします。注文列がないので、レコードを明示的に注文することはできません。

Sparkはファイルから読み込んだレコードの順序を維持していますか？または、Sparkからレコードのファイルオーダーにアクセスする方法はありますか？

Answer 1

はい、ファイルから読み取ると、Sparkはレコードの順序を維持します。しかし、シャフリングが発生すると、その順序は保持されません。したがって、順序を保持するには、データにシャフリングが発生しないようにプログラミングするか、seqを作成する必要があります。レコードに数値を付け、それらのseqを使用します。処理中の数字

データが高速処理のためにクラスタに分割されるSparkのような配布フレームワークでは、データのシャッフルが確実に行われます。そのため、最良の解決策は、各行に順次番号を作成し、その順序番号を順序付けに使用することです。

Answer 2

データがシャッフルされても、順序は保持されません。ただし、計算を実行する前に行を列挙できます。 RDDを使用している場合は、検索しているものを正確に実行するzipWithIndex（RDD[T] => RDD[(T, Long)]）という関数があります。