DBへの大きなCsvファイル

Question

私のCSVのサイズは4GBで、SQLサーバにインポートする必要があります。 私はそれが2000万行以上あると思います。何人かが1時間以内にこれを行う方法を私に教えたら、私はとても感謝しています。私はすでにやっている何を

：

using (FileStream filestream = new FileStream(path, FileMode.Open, FileAccess.Read)) { 
     using (StreamReader reader = new StreamReader(filestream, Encoding.UTF8)) { 

      string line = ""; 
      bool isHeader = true; 
      int counter = 0; 

      while ((line = reader.ReadLine()) != null) { 

       if (isHeader) { 
        model.Columns = line.Split(new string[] { "\t" }, StringSplitOptions.RemoveEmptyEntries); 
        isHeader = false; 
        continue; 
       } else { 

        if (Settings.Default.RonudSet != 0) { 
         LoadInDB(indicator,RoundDecimals(line)); 
        } else { 
         LoadInDB(indicator, line); 
        } 
       } 
       cmd.ExecuteNonQuery(); 
       counter++; 
      } 
} 
      model.RowCount = counter; 
      model.ColumnsCount = model.Columns.Length; 
     } 
    } 
    return model; 
} 

マイDbのアップロード方法：

public void LoadInDB(char indicator, string key) { 

     using (SqlConnection conn = new SqlConnection(Settings.Default.DBconnection)) { 

      conn.Open(); 
      try { 

       SqlCommand cmd = new SqlCommand("dbo.LipperFilesTestingInsertFileRowKey", conn); 

       cmd.CommandType = CommandType.StoredProcedure; 

       cmd.Parameters.Add(new SqlParameter("@FileRowKey", SqlDbType.NVarChar, 100)); 
       cmd.Parameters["@FileRowKey"].Value = key; 

       cmd.Parameters.Add(new SqlParameter("@targetTableIndicator", SqlDbType.NVarChar, 100)); 
       cmd.Parameters["@targetTableIndicator"].Value = indicator; 

       cmd.ExecuteNonQuery(); 

      } catch (SqlException sqlExc) { 

       MyLog.WriteToLog(sqlExc.Message,MyLog.Messages.Error); 
      } 
     } 
    } 

Answer 1

1. あなたは新しい接続あなたが行を挿入するたびに開くべきではありません。それはあなたのパフォーマンスを破壊するでしょう。ファイルを読み始める前に接続を開いて、最後にファイルを閉じます。
2. トランザクションを使用します。 SqlConnection.BeginTransactionを検索してください。これにより、DB側のパフォーマンスが向上します。トランザクションがなければ、SQL Serverは各挿入をコミットしますが、これは無駄です。
3. この全体のデータロード方法を廃止し、代わりにSQL ServerのBULK INSERT機能を使用することを検討してください。