大量のレコードをデータベースに挿入する

Question

大量のデータに対していくつかのアルゴリズムを実行し、各結果をデータベースに格納する必要があります。

アルゴリズムの実行回数は80,000-90,000で、各サイクルは約2秒かかります（アルゴリズムのみ）。 これは非常に時間がかかります。 （DBに格納する必要があります）今

私のデータベースのSQL Server 2008の 私はado.netエンティティフレームワークを使用したい（それはそれは良いではありません、この作業のために良いのですか？）
出力データはプレーンです生の（それほど大きくない）、日付と時間のような列を維持するものもあります。

そのためのベストプラクティスは何ですか？
各アルゴリズムが完了すると、行ごとに挿入しますか？結果をメモリに保存し、作業が終了したらデータを挿入しますか？

Answer 1

アルゴリズムを最初にすべてのレコードに対して実行した後、BulkInsertを試してみませんか？ データベースへのデータの取得は非常に効率的です。

http://msdn.microsoft.com/en-us/library/ms188365.aspx

Answer 2

あなたがSqlBulkCopyクラスを使用すると、ソースデータとしてのDataTableを使用することができます。これは、複数のINSERTに比べて本当に速いです。

Answer 3

あなたがsqlbulkcopyを使用しなかった場合は、次回行うことができます：

1. ストアデータのローカル変数
2. にすべてのデータが収集された後、SQLトランザクションを開始し、DBへのそれぞれの行を挿入します。すべての挿入クエリーが実行された後、コミットします。