2つのフラットファイルの内容を比較する最良の方法

Question

|（パイプ）で区切られたフラットファイルが多数あります。このフラットファイルは、SSISパッケージを使用してSQL Serverで毎日処理します。各フラットファイルは、ヘッダーセクション、コンテンツセクション、フッターセクションに分かれています。私たちは定期的に同じファイルの新しいバージョンを取得します。我々は、処理の負荷を軽減するために、同じファイルの2つのバージョン間でファイル比較機能を実装しようとしています。

どの方法がより効率的になりますか？

1. サム列を持つ別のSQL Serverのテーブルに同じファイルの両方のバージョンを保存し、チェックサム値が一致していないいる行を除外。

2. C＃または他のC＃で利用可能な他の比較アルゴリズムで同様のチェックサムロジックを実装する。

これを達成するための他の新しいアルゴリズムをお勧めします。

Answer 1

これらの両方をSQL Serverに既にロードしている場合は、目的が何であるかによって、速やかにEXCEPT() or INTERSECT()が使用されます。

select * from version2 
except 
select * from version1 

これはまさにversion1内の行と一致しませんでしたversion2内の行を返します。それを比較したい場合は、1つの列だけを選択することもできます。