行番号のハイブクエリ

Question

私はpysparkに取り組んでいます。ハイブテーブルからデータを読み込み、すべての列と行番号を含むpysparkデータフレームを返すクエリを書く必要があります。

これは私が試したものです：

SELECT *, ROW_NUMBER() OVER() as rcd_num FROM schema_name.table_name 

このクエリはハイブで正常に動作しますが、私はpysparkスクリプトから、それを実行すると、それは次のようなエラーがスローされます。

Window function row_number() requires window to be ordered, please add ORDER BY clause. For example SELECT row_number()(value_expr) OVER (PARTITION BY window_partition ORDER BY window_ordering) from table; 

いくつかのソリューションを提案してください。 。

注：特定の順序で行を並べ替えることは望ましくありません。並べ替えや並べ替えを行わずにテーブルにあるすべての行の行番号が必要です。あなたがテーブルに存在するすべての行の数字を行いますmonotonicallyIncreasingId機能を使用できるように、スパーク2.1

Answer 1

ROW_NUMBER()を使用して

は、順序付けを必要とするかもしれません。

from pyspark.sql.functions import monotonicallyIncreasingId 

df.withColumn("rcd_num ", monotonicallyIncreasingId()) 

OR

SELECT *, ROW_NUMBER() OVER (Order by (select NULL)) as rcd_num FROM schema_name.table_name

あなたはスパークのドキュメントからselect NULL