DataSetに大きなXMLをロードする（OutOfMemory Exception）

Question

私はUR1を介して3GBのXMLファイルを読み込み、すべてのジョブをデータセットに格納しようとしています。 XMLは次のようになります。

<?xml version="1.0"?> 
    <feed total="1621473"> 
     <job> 
     <title><![CDATA[Certified Medical Assistant]]></title> 
     <date>2016-03-25 14:19:38</date> 
     <referencenumber>2089677765</referencenumber> 
     <url><![CDATA[http://www.jobs2careers.com/click.php?id=2089677765.1347]]></url> 
     <company><![CDATA[Broadway Medical Clinic]]></company> 
     <city>Portland</city> 
     <state>OR</state> 
     <zip>97213</zip> 
    </job> 
    <job> 
     <title><![CDATA[Certified Medical Assistant]]></title> 
     <date>2016-03-25 14:19:38</date> 
     <referencenumber>2089677765</referencenumber> 
     <url><![CDATA[http://www.jobs2careers.com/click.php?id=2089677765.1347]]></url> 
     <company><![CDATA[Broadway Medical Clinic]]></company> 
     <city>Portland</city> 
     <state>OR</state> 
     <zip>97213</zip> 
    </job> 
    </feed> 

これは私のコード

XmlDocument doc = new XmlDocument(); 
      doc.Load(url); 
      DataSet ds = new DataSet(); 
      XmlNodeReader xmlReader = new XmlNodeReader(doc); 

      while (xmlReader.ReadToFollowing("job")) 
      { 
       ds.ReadXml(xmlReader); 
      } 

ですが、私は、バインドされた例外のうちのメモリを得ました。 Google で検索し、これを見つけました：

DataSet ds = new DataSet(); 
     FileStream filestream = File.OpenRead(url); 
     BufferedStream buffered = new BufferedStream(filestream); 
     ds.ReadXml(buffered); 

まだ同じ例外があります。私はXmlTextReaderについても読んでいますが、私の場合はどのように使用するのか分かりません。 なぜ例外が発生しているのかわかりますが、その克服方法はわかりません。

Answer 1

代わりのデータセットまたは他の容器に、ファイル全体をロードしようと、どのようにロードバッチについてを試してみて、バッチを保持しているものは何でもので、データベースに各バッチの書き込みがクリアすることができます毎回？

方法：DataSetを使用して大規模なXML文書の変換ストリーミング https://msdn.microsoft.com/en-us/library/bb387013.aspx

 List<XElement> jobs = new List<XElement>(); 
     using (XmlReader reader = XmlReader.Create(filePath)) 
     { 
      XElement job; 
      reader.MoveToContent(); 
      while (reader.Read()) 
      { 
       if ((reader.NodeType == XmlNodeType.Element) && (reader.Name == "job")) 
       { 
        job = XElement.ReadFrom(reader) as XElement; 
        jobs.Add(job); 

        if (jobs.Count >= 1000) 
        { 
         // TODO: write batch to database 
         jobs.Clear(); 
        } 
       } 
      } 

      if (jobs.Count > 0) 
      { 
       // TODO: write remainder to database 
       jobs.Clear(); 
      } 

     } 

代替を行います。

 DataSet ds = new DataSet(); 
     using (XmlReader reader = XmlReader.Create(filePath)) 
     { 
      reader.MoveToContent(); 
      while (reader.Read()) 
      { 
       if ((reader.NodeType == XmlNodeType.Element) && (reader.Name == "job")) 
       { 
        ds.ReadXml(reader); 

        DataTable dt = ds.Tables["job"]; 
        if (dt.Rows.Count >= 1000) 
        { 
         // TODO: write batch to database 
         dt.Rows.Clear(); 
        } 
       } 
      } 

      if (ds.Tables["job"].Rows.Count > 0) 
      { 
       // TODO: write remainder to database 
       ds.Tables["job"].Rows.Clear(); 
      } 
     } 

Answer 2

doc.Load（）はファイル全体を読み込んでエラーを出します。 XmlNodeReaderは本当にあなたのために何もしません。この

using System; 
 
using System.Collections.Generic; 
 
using System.Linq; 
 
using System.Text; 
 
using System.Xml; 
 
using System.Xml.Linq; 
 
using System.Data; 
 

 
namespace ConsoleApplication1 
 
{ 
 
    class Program 
 
    { 
 
     const string url = @"c:\temp\test.xml"; 
 
     static void Main(string[] args) 
 
     { 
 
      int count = 0; 
 
      DataSet ds = new DataSet(); 
 
      XmlReader xmlReader = XmlReader.Create(url); 
 
      xmlReader.MoveToContent(); 
 
      try 
 
      { 
 
       while (!xmlReader.EOF) 
 
       { 
 
        count++; 
 
        xmlReader.ReadToFollowing("job"); 
 
        if (!xmlReader.EOF) 
 
        { 
 
         ds.ReadXml(xmlReader); 
 
        } 
 
       } 
 
      } 
 
      catch (Exception ex) 
 
      { 
 
       Console.WriteLine("Count : {0}", count); 
 
       Console.ReadLine(); 
 
      } 
 
      
 
     } 
 
    } 
 

 
}