新しいレコードのSqoopインクリメンタルインポート

Question

emp_Id = 6が存在せず、Sqoopジョブを作成して追加モードで増分Sqoopを実行した1から10までのemp_idで構成されるテーブルがあります。
この後、次の2つの新しいemp_idが追加されました。つまり、emp_id=6とemp_id = 12です。
私の質問は、emp_id =6をインクリメンタルにインポートするか、それともemp_id = 12だけインポートするのでしょうか？

Answer 1

--incremental appendで定義されている場合（emp_id = 6と他の値を書き込んだ場合）、ジョブはemp_id = 12レコードのみ書き込みます。しかし、--check-columnパラメーターが既存のレコードで値6を見つけられなかった場合、ジョブはemp_id = 6レコードも書き込みます。

新しいレコードを追加したり、既存のレコードを変更したりする場合は、--last-valueパラメータを考慮してください。 See this。 ジョブが作成されると、最後の値がすでに/ tmp sqoopディレクトリに保存されていることに注意してください。この場合は、sqoopのインポートを使うことをお勧めします。