Spark Dataframeの最初の1000行を取得する方法はありますか？

Question

私はrandomSplit関数を使用して、開発目的で使用するデータフレームを少量取得しています。この関数によって返される最初のdfを取得するだけです。

val df_subset = data.randomSplit(Array(0.00000001, 0.01), seed = 12345)(0) 

私はdf.take(1000)を使用している場合はそれが私のために動作しませんので、私は、データフレームのないrows-の配列で終わります。

dfの最初の1000行と言い、別のdfとして保存する方がいいですか？

Answer 1

お探しの方法は.limitです。

最初のn行を取得して新しいDataFrameを返します。この関数とheadの違いは、headが配列を返し、limitが新しいDataFrameを返すという点です。