sqoop増分はマージキーで最後に変更されました

Question

更新されたレコードをHDFSにインポートしようとしています。以前私はHDFSに3つの部分ファイルを持っていました。私が下のツールを実行すると、マージキーが必要であるというエラーが出ました。しかし

sqoop import --table employee --username training --password training --connect jdbc:mysql://localhost/loudacre --incremental lastmodified --check-column modified --last-value '2016-08-22 19:02:41'

、私はその中のすべてのレコードを持つ部分のみのファイルを見ることができますマージキーオプションを使用していました。

Answer 1

これは私が推測することです。一般にマージツールは、--incremental lastmodifiedモードのインクリメンタルインポート後に実行されます。

データセットをマージするとき、各レコード（が--merge-keyとして言及）で一意の主キー値が存在することが想定されます。

マージツールは、すべてのデータセットを1つにマージするmapreduceジョブを実行し、それぞれ--merge-keyの最新の利用可能な行を取得します。

詳細については、sqoop docsを確認してください。