dbからコードへの大量の未知のデータ

Question

このデータからレポートを作成するには、dbから別のレコード（1000.000）を大量に取得する必要があります。私のDBはリモートシステム上にあります。これで、各レポートに異なるSQL文が作成されました。このSQL文は、サービスに送信されます。このサービスはDataSetを埋め込み、これをアプリケーションに返します。これで、DataSetをレポートにバインドできます。 問題は、レコード数のデータセットには膨大なメモリ消費があることです。つまり、データをロードすると、1回のロードでメモリが1GBに上昇します。

このメモリを消費しないでデータをロードする方法はありますか？ 私はすでにNHibernateのようなORMを使用していますが、問題はロードされるデータがわからないということです。変更できるSQLステートメントが異なる数百ものレポートがあるので、マップするクラスを何百も作成できません...

編集：あなたが尋ねるべき

 DataSet dataSet = new DataSet(); 
    try 
    { 
     using (FbConnection connection = new FbConnection(strConnString)) 
     { 
      connection.Open(); 
      using (FbCommand cmd = 
       new FbCommand(
       "SELECT * FROM CUSTOMERS;", 
       connection)) 
      { 
       FbDataAdapter fbd = new FbDataAdapter(cmd); 
       fbd.Fill(dataSet); 
       // This is what the default ADO.Net provider can do.. 
       //SqlCommand command = new SqlCommand(queryString, connection); 
       //System.Xml.XmlReader reader = command.ExecuteXmlReader(); 
      } 
     } 

    } 
    catch (Exception ex) 
    { 

    } 

Answer 1

質問です：それをどのくらいのデータであり、メモリのオーバーヘッドは何ですか

は、ここに私が使用しています私のサンプルコードです。 OVERHEADが大きい場合は、より良いデータ構造を見つける必要があります。 DATA自体が大き過ぎてメモリが使えない場合は、一度にメモリの一部だけをメモリに取り込む方法を検討する必要があります。

どちらの場合でも、NHibernateを使用して大量のレポートを作成することは疑わしいです。既存のマッピングされたクラスを使用してクエリを構築すると便利ですが、単純なマップされていないDTOクラスまたはオブジェクト[ NHibernateがすべての結果に対してマップされたクラスをインスタンス化するのを避けるために、後者はパフォーマンスとメモリ消費の両方にとって悪いでしょう。

ああ、データセットを返すWebサービスがあることを意味しましたか？ DataSetクラスはMicrosoft固有のものであり、さまざまな理由で（http://www.hanselman.com/blog/ReturningDataSetsFromWebServicesIsTheSpawnOfSatanAndRepresentsAllThatIsTrulyEvilInTheWorld.aspx）一般的に悪いスタイルと見なされます。