SQL Serverの選択と挿入問題

Question

同じデータベースサーバー上にDB1とDB2という2つのデータベースがあります。私はDB2のTable1とDB2のTable2を持っています。現在、select *にinsertを使用してTable2からTable1にすべてのデータを転送しています（Table1は空です。私の目的はTable2からTable1へのデータのコピーを作成することです）。テーブル構造は、（GUID型の）クラスタ化ID列とXMLバイナリ（varbinary）データ列です。

私の現在の問題は、メモリ消費量が非常に高いことです。メモリ消費量を減らすための良いアイデアはありますか？私の大まかな考え方は、小さなトランザクションをいくつか初期化し、各トランザクションから部分的なデータを挿入することです。

VSTS 2008 + C＃+ ADO.Net + SQL Server 2008 Enterpriseを使用しています。良いソリューションやリファレンスサンプルはありますか？

メモリ不足例外の原因となる現在のコードです。私はADO.Net SQLBulkCopy機能を使用しています。

namespace BulkCopyTable 
{ 
    public class CopyData 
    { 
     string _sourceConnectionString; 
     string _destinationConnectionString; 

     public CopyData(string sourceConnectionString, 
         string destinationConnectionString) 
     { 
      _sourceConnectionString = 
         sourceConnectionString; 
      _destinationConnectionString = 
         destinationConnectionString; 
     } 

     public void CopyTable(string table) 
     { 
      using (SqlConnection source = 
        new SqlConnection(_sourceConnectionString)) 
      { 
       string sql = string.Format("SELECT * FROM [{0}]", table); 

       SqlCommand command = new SqlCommand(sql, source); 

       source.Open(); 
       IDataReader dr = command.ExecuteReader(); 

       using (SqlBulkCopy copy = 
         new SqlBulkCopy(_destinationConnectionString)) 
       { 
        copy.DestinationTableName = table; 
        copy.WriteToServer(dr); 
       } 
      } 
     } 
    } 

    class Program 
    { 
     static void Main(string[] args) 
     { 
      CopyData copier = new CopyData(ConfigurationSettings.AppSettings["source"], ConfigurationSettings.AppSettings["destination"]); 
      Console.WriteLine("Begin Copy"); 
      copier.CopyTable(ConfigurationSettings.AppSettings["Table"]); 
      Console.WriteLine("End Copy"); 
      return; 
     } 
    } 
} 

Answer 1

バッチサイズを設定して、管理可能な部分にまとめることができると思います。

Bulk copy batch size

チェック他の技術のために、このバルクデータをロードするホワイトペーパー： Bulk load

Answer 2

BCPユーティリティを試すことができます。

これは、必要に応じてProcessクラスを使用してC＃で実行できます。

Answer 3

これは1回の仕事ですか？その場合は、DTSまたはSSISを使用できます。
がない場合は、フレームワーク

EDITにSQLBulkCopy &関連するクラスを使用することができた場合、以下を参照してください。私はあなたのコード&がWriteToServerのを呼び出す前にBatchSizeプロパティを使用して提案することができました。

Answer 4

ソーステーブルの各行をステップ実行し、フェッチされた行ごとに「insert-into-select」を設定すると、メモリの使用量は少なくなりますか？ BOLには、カーソルを踏んだ例がたくさんあります。

---

更新：（コメントはBOLの記事から、私はほんの数名のまわりに変更されている）

-- // Declare the variables to store the values returned by FETCH. 
DECLARE @id uniqueidentifier, @xml varbinary(4000) 

DECLARE myCursor CURSOR FOR 
SELECT id, xml FROM Table1 

OPEN myCursor 

-- // Perform the first fetch and store the values in variables. 
-- // Note: The variables are in the same order as the columns 
-- // in the SELECT statement. 

FETCH NEXT FROM myCursor 
INTO @id, @xml 

-- // Check @@FETCH_STATUS to see if there are any more rows to fetch. 
WHILE @@FETCH_STATUS = 0 
    BEGIN 

    -- // Do something with your values! 
    INSERT INTO db2..Table2 (id, xml) SELECT @id, @xml 

    -- // This is executed as long as the previous fetch succeeds. 
    FETCH NEXT FROM myCursor 
    INTO @id, @xml 

    END 

CLOSE myCursor 
DEALLOCATE myCursor 

：ここではFETCHにBOL T-SQLリファレンスから変更/ Iがコピー例です