Spark SQLテンポラリテーブルの自動インクリメントフィールドを作成

Question

私はSpark環境を初めて使いました。私は私のプロジェクトでSpark SQLを使用します。 Spark SQLの一時テーブルに自動増分フィールドを作成したいと思います。 UDFを作成しましたが、正しく機能しませんでした。私はインターネット上でさまざまな例を試しました。これは私のJava POJOクラスです：

public class AutoIcrementId { 
    int lastValue; 
    public int evaluate() { 
     lastValue++; 
     return lastValue; 
    } 
} 

Answer 1

私たちは、オートインクリメントの値のためにハイブステートフルUDFを使用することができます。コードはこのようになります。

package org.apache.hadoop.hive.contrib.udf; 

import org.apache.hadoop.hive.ql.exec.Description; 
import org.apache.hadoop.hive.ql.exec.UDF; 
import org.apache.hadoop.hive.ql.udf.UDFType; 
import org.apache.hadoop.io.LongWritable; 

/** 
* UDFRowSequence. 
*/ 
@Description(name = "row_sequence", 
    value = "_FUNC_() - Returns a generated row sequence number starting from 1") 
@UDFType(deterministic = false, stateful = true) 
public class UDFRowSequence extends UDF 
{ 
    private LongWritable result = new LongWritable(); 

    public UDFRowSequence() { 
    result.set(0); 
    } 

    public LongWritable evaluate() { 
    result.set(result.get() + 1); 
    return result; 
    } 
} 

// End UDFRowSequence.java 

登録UDF：

CREATE TEMPORARY FUNCTION auto_increment_id AS 
    'org.apache.hadoop.hive.contrib.udf.UDFRowSequence' 

用途：

SELECT auto_increment_id() as id, col1, col2 FROM table_name 

同様の質問は、私はこのような何かを必要とし、ここで（How to implement auto increment in spark SQL）