DataFrame、Apache Spark、Scalaに一意のID列を追加する方法

私は別のDataframeと結合して元の行でグループ化するDataFrameを持っていますが、元の行には一意のIDはありません。一意のIDを追加したり、その目的を達成するにはどうすればよいですか。DataFrame、Apache Spark、Scalaに一意のID列を追加する方法

出典

2017-03-17 qonf

あなたは、列の詳細は、両方のサンプルデータフレームを追加してくださいすることができますmonotonically_increasing_id使用することができますか？ –

あなたは

import org.apache.spark.sql.functions._ 
val unique_df = original_df.withColumn("UniqueID", monotonically_increasing_id)

出典

2017-03-17 09:13:01 Tawkir

私は上記のように実行しようとしました。しかし、私は取得しています：monotonically_increasing_idというモジュールはありません – user3245256

それは動作するはずです。そのインポートステートメントを使用しましたか？あなたのスパークバージョンは何ですか？ – Tawkir

ありがとうございます。私はそれを働かせました。この特定のインポートステートメントは私のためには機能しませんでした。私はそれを以下のように変更しなければなりません：pyspark.sql.functionsからimport monotonically_increasing_id – user3245256

DataFrame、Apache Spark、Scalaに一意のID列を追加する方法

答えて

関連する問題