2つの大きなデータセットの違いを確認するにはどうすればよいですか？

Question

large datasetsには、XML形式の何百万ものレコードがあります。これらのデータセットは、特定の時点までのデータベースの完全なデータダンプです。

2つのダンプの間に新しいエントリが追加され、既存のエントリが変更または削除されている可能性があります。スキーマは変更されず、すべてのエントリに一意のIDがあるとします。

これらの2つのデータセット（削除と更新を含む）間のデルタを判断する最良の方法は何ですか？

---

私の計画は、すべてをRDBMSにロードしてそこから実行することです。

まず、古いダンプをロードします。新しいダンプを別のスキーマにロードしますが、そうすることで、そのエントリが新しいか、既存のエントリの更新であるかどうかを確認します。 「はい」の場合は、「変更」と呼ばれる新しいテーブルにIDを記録します。

これがすべて完了したら、古いダンプをすべてのエントリに渡し、新しいダンプに一致するレコード（つまり、同じID）があるかどうかを確認します。そうでない場合は、変更にログを記録します。

IDでレコードを検索すると、O(log n)操作であると仮定すると、O(n log n)時間内にすべてを実行できるはずです。

IDと最終更新日だけでレコードの有無を調べることで違いを判断できるため、すべてをメインメモリにも読み込むことができました。時間の複雑さは同じですが、ディスクI/Oが少なくて済むという利点があります。

提案？ （注：これは何よりもパフォーマンスに関する質問のほうが多い）

Answer 1

珍しい提案として、gitを使用することを検討してください。最初のデータセットをバージョン管理下に置き、作業ディレクトリを消去して2番目のデータセットにコピーします。 gitはその違いを生み出すのがすごく速いです。

Answer 2

2つのDataTableの違いを得るためのソリューションを提供するMSDNのこの記事をご覧ください。それは正しい方向にあなたを指している必要があります：

2つのDataTableを比較する方法：
http://social.msdn.microsoft.com/Forums/en/csharpgeneral/thread/23703a85-20c7-4759-806a-fabf4e9f5be6

ます。また、これを見て取りたいかもしれませんSOあまりにも質問：
Compare two DataTables to determine rows in one but not the other

私はしました

table1.Merge(table2); 
DataTable changesTable = table1.GetChanges(); 

Answer 3

レッドゲートのSQL Data Compare

0：また、このアプローチは、数回使用さ見て

Answer 4

select 
    coalesce(a.id, b.id) as id, 
    case 
     when a.id is null then 'included' 
     when b.id is null then 'deleted' 
     when a.col != b.col then 'updated' 
    end as status 
from a 
full outer join b on a.id = b.id 
where a.id is null or b.id is null or a.col != b.col 

Answer 5

DeltaXMLをご覧ください。

（パディングStackOverflowのは短い答えを許可していないため）