増分データと共に単一のハイブテーブル用のファクトテーブルとディメンションテーブルを作成する方法

Question

データウェアハウス（スタースキーマ）をハイブで作成するために新規です。私の要件は、増分データと共に1つのハイブテーブルを取得できますこのハイブテーブルでは、更新されたデータとともにFactとDimensionテーブルを作成する必要があります。 Hiveでは可能ですか？作成する方法はありますか。別の方法はありません。 誰かが考えている場合は、私と共有してください。

Answer 1

あなたはあなたの条件

1. は、例えばファクト&寸法表に

を作成 ためにあなたのハイブのクエリが含まれていますシェルスクリプトを作成する自動化するために特定の手順を使用することができます。 your_shell_script.shコード

#!/bin/sh 

hive -e "use hivedb; CREATE TABLE FACTS as select your columns from Source_table;" 

hive -e "use hivedb; CREATE TABLE DIMENSIONS as Select your coloumns from Source_table;" 

注意が含まれます：あなたがいずれかを使用したいテーブルのメソッドを作成し使用することができますが、あなたはまた、パーティションを追加することができ、あなたのテーブルを作成する方法に依存します。

2. Linux OSのCrontabデーモンを起動します。

3. あなたのLinuxにはCrontab entryを作成してください。これは、メインソーステーブルsqoopのアップロードが完了した後、特定の時点でシェルスクリプトを実行します。

例： crontab -e

0 11 * * * /path/to/your/script/your_shell_script.sh 

ノートこのcrontabエントリは

は、この情報がお役に立てば幸いです（ごsqoop負荷後）午前中に11 AMであなたのシェルスクリプトを実行します。