hdfsの大きなテーブルの変更を反映

Question

私はOLTPシステムに注文テーブルを持っています。 各注文レコードには、OrderStatusフィールドがあります。

• エンドユーザーが注文を作成した場合は、オーダーステータスフィールドが「オープン」に設定してください。誰かが注文をキャンセルした場合、オーダーステータスフィールドは "キャンセル" として設定

• 。注文処理は「閉じる」に、（請求書に変換）オーダーステータス・フィールド・セットを終え

• 。

OLTPシステムでテーブル内の複数億件のレコードがあります。

hdfsレイヤーのデータウェアハウスとデータマートを設計して入力する必要があります。 データマートを設計するには、hdfsにオーダーテーブル全体をインポートしてから、テーブルの変更を継続的に反映する必要があります。

最初に、最初のロードプロセスでsqoopを使用してテーブル全体をhdfsにインポートできます。私は長い時間がかかるかもしれませんが、私はこれを一度やります。

注文記録が更新されたり、新しい注文記録が入力された場合、hdfsの変更を反映する必要があります。どのようにしてhdfsでこれを実現できますか？簡単な方法の

おかげ

Answer 1

一つは、データベースがOLTPソースDBにトリガされ、すべての更新があなたのHadoop環境に更新イベントをプッシュするトリガの使用を起こる変更で動作するようです。

一方、（データユーザーの要件によりますが）毎晩、データダンプ全体をリロードするだけで十分です。

また、最後に変更されたタイムスタンプがある場合は、最新のデータのみを読み込んで何らかのデルタチェックを行う可能性があります。

これはすべて、お客様のデータ構造、要件、お手元のリソースに依存します。

これにはいくつかの方法がありますが、通常はメッセージング、開発、新しいサーバーが必要です。このインフラストラクチャまたはそれらのリソースは利用できません。

EDIT

あなたが最後に変更された日付を持っているので、あなたが

SELECT columns FROM table WHERE lastchangedate < (now - 24 hours) 

または何積載のためのあなたの間隔があるかもしれないようなステートメントを使用してデータを取得することができるかもしれません。

次に、sqoopまたはETLツールなどでデータを処理します。レコードが既にHadoop環境で使用可能な場合は、UPDATEにします。レコードが利用できない場合は、適切な仕組みでINSERTを入力します。これは時々UPSERTINGと呼ばれます。