C＃を使用したフラットファイルからSQLテーブルへのチャンク/バッチのデータのインポート

Question

巨大なデータを持つFLATファイル（TARABITES内）からチャンク/バッチにデータをロードしたい。 1-10000,10001-20000などのようなチャンクをステージングテーブルにロードする場合は、ステージングテーブルのメモリが制限されています。 データがステージングテーブルにロードされると、データを最終テーブルにロードします。 いくつかのC＃スクリプトでは、id番号からTO id番号に変数を渡すことができます。

ありがとうございます。

Answer 1

私は過去に同様のことをしました。ここには大まかな構文があります。これはSql to Sql用です。 ODBCを使用してテキストファイルを照会する方法については、下のリンクを参照してください。

 int Start = 1; 
     int End = 10000; 
     using (SqlConnection SqlCon = new SqlConnection()) 
     { 
      string Sql = $"Select * From Table Where Id Between {Start} and {End}"; 
      SqlCommand SqlCmd = new SqlCommand(Sql); 
      SqlDataReader reader = SqlCmd.ExecuteReader(); 

      SqlBulkCopy bulk = new SqlBulkCopy(SqlCon); 
      bulk.DestinationTableName = "StagingTable"; 
      bulk.WriteToServer(reader); 
     } 

http://www.c-sharpcorner.com/article/accessing-text-files-using-odbc-data-provider/