ハイブの増分アップデート

ソースMySqlテーブルがあります。分析目的のために日付をHiveにエクスポートする必要があります。当初は、MySQLのデータサイズが少なかったため、MysqlデータをHiveにエクスポートすることはSqoopを使用することで問題にはなりませんでした。私のデータサイズが増えたので、MySqlデータの増分更新をどのようにしてハイブにすることができますか？ハイブの増分アップデート

出典

2016-05-02 sss

あなたは増分更新のためsqoopを使用することができ、Sqoopのドキュメントが良いですが、ここでのリンクはそれを指摘して https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_incremental_imports

出典

2016-05-02 19:35:46 vgunnu

おかげです。あともう一つだけ。 Hiveとしての "更新された"エントリの扱い方は、追加だけです。我々はまだトランザクションをサポートする更新されたHiveに移行する予定です。 – sss

が選択t1のように新規レコードのみいくつかのことをしたテーブルの上にハイブビューを作成します。*テストt1からが参加t1.id上の（選択IDは、最大は（modifed）ID によってテストグループからmaxModified） = s.idおよびt1.modifed = s.maxModified – vgunnu

ハイブの増分アップデート

答えて

関連する問題