sc.textFileの後のzipWithIndexは、正しい行番号を与えますか？

Question

私がしたら、以下のようなものです。

val rdd = sc.textFile("someFile.txt") 
val rddWithLines = rdd.zipWithIndex 

zipWithIndexで追加されたインデックスは、入力ファイルの行番号（最初の行はもちろん0）に対応しますか？それとも、この場合に注文が壊れてしまうのでしょうか？

Answer 1

zipWithIndexは地図のみの変換です（シャッフルしないので）正しい順序になります。ここで安全に使用できます。

Answer 2

SparkContext.textFileは、ファイルごとに複数のパーティションを作成できます。これらのパーティションの順序が正しい場合は、正しい結果が得られるはずです。詳細は、this answerを参照してください。