DB2からMongoDBへデータを移行する際の重複を回避する方法

Question

MongoDBが新しく、DB2データ（〜6TB）をMongodbに移行する予定です。 Javaユーティリティーを使用してDB2からデータを読み取り、MongoDBに挿入する予定です。

Javaユティリティの実行中にエラーが発生した場合、それを再起動してMongoDBに重複したレコードを挿入します。これらの重複レコードを避けるにはどうすればよいですか？

ここに案内してください！

ありがとうございます！

Answer 1

DB2からのデータには、すでに一意の主キーがあり、データ内に独自のビジネスキーが追加されている必要があります。これらのフィールドをMongoDBに_idとして入力すると（MongoDBに_idを自動生成させるのではなく）、MongoDB側で重複を避けることができます。同じレコードを2回挿入しようとすると、DuplicateKeyExceptionが発生します。

さらに、個々のレコードにエラーがある場合は、ロードプロセスを完全に再起動する必要があります。しかし、おそらくあなたはもっと深刻な問題に取り組む必要があります。ローダーがJVMをクラッシュさせていますか？

おそらく、完全に開始する必要がないように、ローダープロセスを改善するだけで済みます。私が示唆したように_idを入力した場合、重複したレコードを挿入していないという保証が追加されます。