アプリケーションを使用して同じDBから別のDBに多くのデータを移行する際のパフォーマンスBL

Question

この問題があります。私は15分ごとにネットからファイルをダウンロードし、それをDBにバルクコピーするアプリケーションを持っています。

私のアプリのユーザーはこのファイルを購読しているので、このファイルを自分のデータベースに「コピーする」ように伝えます。データベースを作成する前に、このデータにビジネスロジックを適用する必要があるため、「コピー」を作成しました。このビジネスロジックは顧客によって異なります。

問題は、開始データベースに変更された100,000行のようなものが15分ごとに含まれていることです（新しいレコードと更新されたレコード、削除されたレコードがあります）。

この問題にどのように対処しますか？私は、通常の開発プロセス、次の試してみました：

が新しいデータを取る

1. のforeach顧客 - >そのユーザーのためのビジネス・ロジックを適用 - >彼のDBに
2. テイクUPDデータを置く - > BLを適用します - - >デルのデータを取る
3. 彼のDBを更新 - > BLを適用 - >彼のDB

から削除しかし、それはあまりにも多くなります。遠く離れて15分。 1人のユーザーには時には時間がかかります。

あなたは何をしますか？

おかげで、 マルコ

Answer 1

100.000行はあまり聞こえません。

これはビジネスロジックによって異なりますが、一部のデータ変換の場合は、SSISパッケージ（MS SQL Serverに関して、他のRDBMSには他のツールがあります）を使用してデータをインポートすることを検討できます。

並列処理を利用することもできます。たとえば、ファイルを分割してすべてのパーティションを同時に処理することで、複数のスレッド（または仮想マシン）を使用できます。単純なマップ/リダクションアルゴリズムを実装するだけでも役立ちます。

何らかのパフォーマンス測定を行いますが、実際にデータ処理が遅い理由を知りたいと思っています。おそらくコード内の何かを最適化することができます。

100.000行時間（あなたが重いとスーパー複雑なビジネスロジックを持っていない限り、あなたはもちろんの各行に対して実行する必要がある）間違って何かが起こっている、とてつもなく遅いのです

Answer 2

それは見ずに言うのは難しいですコードを作成することができますが、Ants Performance Profilerなどのコードをプロファイリングして、スローダウンの発生場所を特定できます。それを使用したくない場合は、Visual Studio 2010にプロファイリングツールが含まれていると思います。

明らかに、本番システムではなく、デバッグまたはステージングのビルドに対してプロファイリングを実行したいとします。

データベースの速度に問題があると思われる場合は、挿入をどのように行っているか、インデックスやトリガーがDB挿入速度に影響を与えるかどうかを調べることをお勧めします。