追加を使用し、最後にsqoopインポートステートメントで変更しました

Question

sqoopを使用して、Oracleデータベースからデータを抽出します。HDFS。人々はSQLテーブルに定期的に新しい行を更新したり追加したりしていました。私はsqoopインクリメンタルインポート--appendと--last modifiedオプションを知っています。

私の質問は、同じインポートステートメントで両方のオプションを使用できるかどうかです。

例えば、

sqoop --incremental import --lastmodified --append --check-column 'lastmodified' --check-column 'id' --lastvalue '2017-09-22-123456' --lastvalue 100 

それとも個別に使用する必要がありますか？それとも他のよりよいアプローチですか？

Answer 1

私は自分自身で答えを見つけました。

lastmodifiedは、最後に変更された列に基づいて、更新と新しく追加された行の両方を処理できます。このシナリオではAppendを使用する必要はありません。