各データフレームパーティションの最初の要素Spark 2.0

Question

各データフレームパーティションの最初の要素を取得する必要があります。 mapPartitionsを使用する必要があることはわかっていますが、使用方法はわかりません。

注：Spark2.0を使用しています。データフレームがソートされています。

Answer 1

は、私はそれが次のようになりますと信じて：

import org.apache.spark.sql.catalyst.encoders.RowEncoder 
... 
implicit val encoder = RowEncoder(df.schema) 
val newDf = df.mapPartitions(iterator => iterator.take(1)) 

は、このデータフレームの各パーティションから1つの要素がかかります。次に、あなたのドライバすなわちにすべてのデータを収集することができます。：

nedDf.collect() 

これはあなたのパーティションの数と同じ要素数の配列を返します。私はここにhttp://spark.apache.org/docs/latest/api/java/org/apache/spark/sqlメソッドのシグネチャで探していますスパーク2.0