スパークデータフレームをN回連結する

Question

データフレームにN行のデータフレームがあり、列は1つだけです。私はそれをN回コピーして連結したい。ですから、最後にN^2行の別のデータフレームを作成したいと思います。

Scalaを使って簡単にどのように達成できますか？ Nが大きいので、ループなどのために使用したくありません。

Answer 1

あなたが折り機能を使ってこれを行うことができます。

(0 until df.count.toInt).foldLeft(df){case (acc,_) => acc.unionAll(df)}.show 

唯一の制約は、NがInt.Max_Value未満でなければならないということです。この情報がお役に立てば幸い:)

あなたは小さなDFでテストすることができます。

val df = sc.parallelize(List(("r1"),("r2"),("r3"))).toDF("c")