私はmapPartitionsを使用し、その後でHDFSに結果を保存しようとしていますsaveAsTextFiles

Question

続いmapPartitionsを使用する方法を次のよう

val x = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8, 9,10), 3) 
x.mapPartitions(p => p.map(r => r+5)).collect().saveAsTextFile("/path/to/folder") 

:29: error: value saveAsTextFile is not a member of Array[Int] x.mapPartitions(p => p.map(r => r+5)).collect().saveAsTextFile("/path/to/folder")

何かが間違っているようだが、私が何であるかを把握することができませんでした正しい方法。

おかげ

Answer 1

はcollectを使用しないでください：

x.mapPartitions(p => p.map(r => r+5)).saveAsTextFile("/path/to/folder") 

それはArrayとしてドライバにデータを収集します。