マルチスレッドを使用してmysqlでデータをフェッチする方法

Question

こんにちは、MYSQL DBのテーブルの1つから50K +の行をフェッチしようとしています。すべてのデータを取得してテキストファイルに書き込むのに20分以上かかる。このフェッチ時間を短縮し、コードをより効率的にするためにマルチスレッドを使用できますか？どんな助けもありがとう。

通常のJDBC接続とResultSetMetaDataを使用して、テーブルから行をフェッチしています。

String row = ""; 
    stmt = conn.createStatement(); 
    ResultSet rs = stmt.executeQuery("select * from employee_details"); 
    ResultSetMetaData rsmd = rs.getMetaData(); 
    int columnCount = rsmd.getColumnCount(); 
while (rs.next()) { 
     for (int i = 1; i < columnCount; i++) { 
      row = row + rs.getObject(i) + "|";// check 
     } 
     row = row + "\r\n"; 
    } 

私は以下のようにテキストファイルに値を書き出しています。

BufferedWriter writer = new BufferedWriter(new FileWriter(
    "C:/Users/430398/Desktop/file/abcd.txt")); 
    writer.write(row); 
    writer.close(); 

Answer 1

まず、ボトルネックの原因を特定する必要があります。 SQLクエリですか？または、ResultSet経由で行を取得していますか？または巨大な弦の建物ですか？ファイルを書いているのでしょうか？

上記のアルゴリズムの各部分の継続時間を測定し、結果を教えてください。この知識がなければ、アルゴリズムをどのように高速化するかは分かりません。

Answer 2

rs.nextは、DBから結果をnバッチで取得することに注意してください。 nはJDBC実装によって定義された番号です。今は10時だと思う。したがって、10バッチごとにDBに再度クエリが行われるため、同じマシン上にあってもネットワークオーバーヘッドが発生します。

この数字を増やすだけで、読み込み時間が短縮されます。

編集： これを追加すると stmt.setFetchSize(50000); となる場合があります。

これは、メモリ消費量が大きくなることに注意してください。