ハイブテーブルにユニークな値を追加する

レコードを入力するたびにハイブテーブルにユニークな値を追加したい場合、その値をハイブテーブル全体で繰り返さないでください。私はこれに対する解決策や機能を見つけることができません。私の場合は、ブタラテンを使ってハイブで記録を入力したいと思います。助けてください。ハイブテーブルにユニークな値を追加する

出典

2017-02-17 animal

あなたは挿入物に対してどれだけのコントロールを持っていますか？あなたは最大バッチサイズを知っていますか？ –

@DuduMarkovitzは一度に1つのファイルしか作成していません。 – animal

'row_number（）over（）'を使用しない理由は何ですか？ –

HIVEは、制約のようなRDBMSデータベースを提供しません。

PIGスクリプトを使用して推奨されるapprochは以下のとおりです。 1.ロードデータ 2.データにDISTINCTを適用します。 3.データを場所に保存します。4.同じ場所に外部ハイブテーブルを作成します。

HCATALOGを使用することができれば、ステップ3と4を組み合わせて、Hiveテーブルに直接データを格納することができます。

公式ドキュメント：Link 1 link 2

出典

2017-02-17 11:26:20

あなたはリンクを共有できますか？ – animal

[1]：https://pig.apache.org/docs/r0.7.0/piglatin_ref2.html#DISTINCT [2]：https://hive.apache.org/javadocs/hcat-r0.5.0/loadstore .html –

OP要求にどのように適用されますか？ –

あなたはこれに見てみたのですか？ https://github.com/manojkumarvohra/hive-hilo hi/loアルゴリズムを使用してハイブでシーケンス番号を生成する方法を提供しているようです

出典

2017-02-18 03:42:33 hlagos

例を挙げることはできますか？それをよりよく理解するのに役立ちます。 – animal

ハイブテーブルにユニークな値を追加する

答えて

関連する問題