ASP.net C＃：File.ReadLines（fileName）.GetEnumerator（）を使用して行ごとに20〜200 GBのファイルを読み込む方法

Question

以下のコードを試しています。

public static int SplitFile(string fileName, string tmpFolder, List<string> queue, int splitSize = 100000) 
    { 
     int chunk = 0; 
     if (!Directory.Exists(tmpFolder)) 
      Directory.CreateDirectory(tmpFolder); 
     using (var lineIterator = File.ReadLines(fileName).GetEnumerator()) 
     { 
      bool stillGoing = true; 
      for (chunk = 0; stillGoing; chunk++) 
      { 
       stillGoing = WriteChunk(lineIterator, splitSize, chunk, tmpFolder, queue); 
      } 
     } 
     return chunk; 
    } 

    private static bool WriteChunk(IEnumerator<string> lineIterator, 
            int splitSize, int chunk, string tmpFolder, List<string> queue) 
    { 
     try 
     { 

      //int tmpChunkSize = 1000; 
      //int tmpChunkInc = 0; 
      string splitFile = Path.Combine(tmpFolder, "file" + chunk + ".txt"); 

      using (var writer = File.CreateText(splitFile)) 
      { 
       queue.Add(splitFile); 
       for (int i = 0; i < splitSize; i++) 
       { 
        if (!lineIterator.MoveNext()) 
        { 
         return false; 
        } 
        writer.WriteLine(lineIterator.Current); 

       } 
      } 

      return true; 
     } 
     catch (Exception) 
     { 

      throw; 
     } 

    } 

それは）（（800メガバイトの周り）の周りに36のテキストファイルを作成しますが、lineIterator.MoveNextで第37回ファイルの作成時に「メモリ不足の例外のうち」投げ始めます。

lineIterator.Currentはデバッガの値を表示しますが、

Answer 1

巨大なファイルなので、BinaryReaderのSeekとReadBytesの方法をお読みください。

単純な例hereが表示されます。最後の改行をReadBytesチェックで確認し、読み込んだ行の中にプロセスファイルを書き込んでください。あなたが読んだすべての行を書き留めたり、すべてのデータをメモリに残したりしないでください。

残りはあなたの手元にあります。たぶん、一般的に、それだけであなたの可算であることの約束を与え実装するクラスは、それが実際にはまだ何もしていませんので、IDisposableを継承しない1 When does File.ReadLines free resources

IEnumerableにrealtedさ

それは廃棄を保証する。