oracle rownumに似たSpark DataframeでRownum機能を実現するには

Question

私はスパークするのが初めてで、大きなデータセット用のrownumerを作成しようとしています。 私はpartitionBy節を使用していないので、うまく動作するrow_numberウィンドウ関数を使用しようとしましたが、効率的ではありません。

例：

val df= Seq(
     ("041", false), 
     ("042", false), 
     ("043", false) 
    ).toDF("id", "flag") 

結果は次のようになります。現在、私は

df.withColumn("rownum",row_number().over(Window.orderBy($"id"))) 

を使用しています

val df= Seq(
     ("041", false,1), 
     ("042", false,2), 
     ("043", false,3) 
    ).toDF("id", "flag","rownum") 

は、ウィンドウ関数を使用せず、この結果を達成するための他の方法はありますか？ 私はまた、あなたはインデックスが1つの追加、1でインデックスを開始する0

を開始すると、ここで

val df2 = df.withColumn("rownum",monotonicallyIncreasingId)

たrowNum機能を取得するためにmonotonicallyIncreasingIdを使用することができますmonotonicallyIncresingIDとZipwithIndex

Answer 1

を試してみました+1 to the monotonicallyIncreasingId

val df2 = df.withColumn("rownum",monotonicallyIncreasingId+1)

scala> val df2 = df.withColumn("rownum",monotonicallyIncreasingId) 
df2: org.apache.spark.sql.DataFrame = [id: string, flag: boolean, rownum: bigint] 

scala> df2.show 
+---+-----+------+ 
| id| flag|rownum| 
+---+-----+------+ 
|041|false|  0| 
|042|false|  1| 
|043|false|  2| 
+---+-----+------+ 


scala> val df2 = df.withColumn("rownum",monotonicallyIncreasingId) 
df2: org.apache.spark.sql.DataFrame = [id: string, flag: boolean, rownum: bigint] 

scala> df2.show 
+---+-----+------+ 
| id| flag|rownum| 
+---+-----+------+ 
|041|false|  0| 
|042|false|  1| 
|043|false|  2| 
+---+-----+------+ 


scala> val df2 = df.withColumn("rownum",monotonicallyIncreasingId) 
df2: org.apache.spark.sql.DataFrame = [id: string, flag: boolean, rownum: bigint] 

scala> df2.show 
+---+-----+------+ 
| id| flag|rownum| 
+---+-----+------+ 
|041|false|  0| 
|042|false|  1| 
|043|false|  2| 
+---+-----+------+ 


scala> var df2 = df.withColumn("rownum",monotonicallyIncreasingId) 
df2: org.apache.spark.sql.DataFrame = [id: string, flag: boolean, rownum: bigint] 

scala> df2.show 
+---+-----+------+ 
| id| flag|rownum| 
+---+-----+------+ 
|041|false|  0| 
|042|false|  1| 
|043|false|  2| 
+---+-----+------+ 


scala> df2 = df.withColumn("rownum",monotonicallyIncreasingId) 
df2: org.apache.spark.sql.DataFrame = [id: string, flag: boolean, rownum: bigint] 

scala> df2.show 
+---+-----+------+ 
| id| flag|rownum| 
+---+-----+------+ 
|041|false|  0| 
|042|false|  1| 
|043|false|  2| 
+---+-----+------+