大きなデータセットをクエリする現在の進行状況を示す方法は？

Question

進捗バーを使用して、データの行％がロードされた現在の進行状況を表示します。私はsimiliar questionが頼まれているのを見ましたが、ソリューションはマーキースタイルを使用することを推奨しています。

たとえば、大規模なデータテーブルをクエリするSelect文を実行すると、数秒かかる場合があります。 進捗バーがクエリの現在の進行状況を更新します。それは可能でしょうか？

私は私が必要とするいくつかのことがある知っている：

1. 合計レコードの数が取得されます。 （Select count（1）を先に取得することができます）
2. 取得したレコードの数を通知するための通知があります。

2.はどのように実装するのか分からない部分です。

私はカップルのクエリに分割すると考えることができますが、これは常に可能ではないかもしれません。

しかし、CursorとSQLの類似点についてはどうですか？ SQL Serverにチャンクを照会してデータを返し、繰り返してもらうように依頼します。

for loop{ 
    //query a chunk of records 

    //return 

    //Next 
} 

だから私は、進行状況をcaculateし、単一DataTableにそれらを埋めることができます。

上記の操作は可能ですか？もしそうなら、どうですか？

大規模なデータテーブルの読み込みの進行状況を表示できるASP.NETアプリケーションを見たので、WPFで同じことを実装します。

Answer 1

まず、クエリを2つに分割することはクエリ時間を2倍にしないことを確実にする必要があります。レコード数を得る前に数秒待っているかもしれませんが、あなたは何も解決していません。

あなたは（データベースが同時実行を愛し、非常によく、それを扱う）に並列に両方のクエリを実行することができていますが、将来的には、スケーラビリティの問題になる可能性データベース、上の余分な負担をかけることになります。

チャンクでクエリを実行すると、最初にクエリ全体が完了するのを待つことなく、利用可能になったときにSqlDataReaderによってレコードをフェッチできるようになります。あなたは自分でDataTableに追加する必要があります。

Answer 2

現在のデータセットのカウントをクエリすると、すべての行を繰り返し処理します。それはちょうどそれをフェッチするほど遅いです。あなたは、SQLステートメントでカウントを選択しようとする可能性があります。 例："SELECT COUNT(ID_COLUMN) FROM TABLE WHERE ..."。それはあなたが実行する必要がある別のSQLステートメントですが、データセットにそれが何であるかを尋ねるほど速くなります。
C＃プログレスバーコントロールがあります。最大値を設定するだけで、ループを反復するたびにfunction step（）を呼び出すことができます。プログレスバーを一歩前に設定します;） パーセント計算を行う必要はありません。

Answer 3

テーブル全体をメモリにロードしている場合は、間違っている可能性があります。ユーザーは本当にそのデータをすべて必要としていますか？同時に何人のユーザーがデータベースに問い合わせますか？あなたはユーザーがテーブル全体で作業することを確信していますか？

あなたはページネーションパターン使用することを検討するよりも、これらすべての質問にはいに答えた場合：スキップ + をを取ると、あなたは、スキップ/とり/合計値と進捗更新イベントを上昇することができます。

//META CODE 
var dataTable = new List<DataTable>(); //in-memory storage 
int rowCount = [...].Rows.Count(); //this is fast check with database 
int current; 

while (current < rowCount) 
{ 
    var fetchedData = [...].Skip(current).Take(1000).ToList(); 
    dataTable.AddRange(fetchedData); 
    current = dataTable.Rows.Count(); 

    //fire progress update event 
}