Hiveに重複行が挿入されないようにする方法はありますか？

Question

私はORCテーブルを持っています。私は次のようにいくつかの他のテーブルからのデータを使用して移入：

INSERT INTO TABLE orc_table_name SELECT * FROM other_table_name 

は、私はORC表に重複したエントリの挿入を防ぐことができます方法はありますか？

Answer 1

コマンドでは使用できません以下の一般的なコードを参照してください。これは、TABLE_1からのvalue1が挿入されていないという事実に基づいてレコードをorc_table_nameに挿入します。

INSERT INTO orc_table_name 
    (Value1, Value2) 
SELECT t1.Value1, 
     t1.Value2 
    FROM TABLE_1 t1 
WHERE t1.Value1 NOT IN (SELECT Value1 FROM orc_table_name) 

Answer 2

INSERT INTO orc_table_name(field1,field2....fieldn) 
select field1,field2... field(n-1),MIN(fieldn) as fieldn 
from other_table_name 
Group By field1,field2...field(n-1)