データ検証付き一括挿入

Question

テーブルに多数のレコード（約2〜3百万）を挿入する必要があります。しかし、私たちは、後で参照できるように、主キー、外部キーおよび非ヌル違反の無効なレコードを別のエラー・テーブルに検証し、分離する必要があります。私の研究では、SQLサーバーの一括挿入は挿入にはうまくいくが、悪いデータレコードをフィルタリングする最良の方法を理解することはできない。間にステージングテーブルを持つことは助けになりますか？ステージングテーブルに対していくつかのキューを使用して違反をチェックすることもできますが、実際のテーブルに、別のインサートを挿入するか、またはマージするかのどちらかを使用して良いレコードをロードする必要があります。私はそれが2倍の挿入を行うのに似ているので心配です。

大量の挿入を行うために.net sqlbulkcopyを使用する予定であり、明確なエラー報告もありません。

もっと効率的なソリューションを教えていただけますか？

EDIT：このアプローチが唯一の解決策である場合、2番目のインサートにはどのような方法が最適ですか？挿入されていますか...選択かマージですか？彼らはBULK INSERTの効率とスピードにマッチしますか？それとも他に良い選択肢がありますか？

ありがとうございます！

Answer 1

個人的には、2/3Mレコードを大量には考えません。 数秒でデータが必要な場合を除き、Single（Non-Bulk）挿入が適切に機能します。

srcのデータ品質が気になる場合は、最初にstgテーブルにロードしてから、「Soft RI」を実行します.SQLを使用してPK、UQ、FKなどを確認してください。 数値/非数値型または悪い日付型の問題が心配な場合は、すべての列に対してStgテーブルVARCHAR（8000）を作成し、テーブルから読み込むときにTRY_CONVERTを使用します。

データがSTGに格納されると、適切な行だけを簡単にフィルタリングし、不良行を詳細にレポートできます。