File.ReadAllText OutOfMemoryException

Question

私は大規模なSQLスクリプト（約70MB）を持っており、すべてをメモリに読み込んだ後にGO文を分割する必要があります。

私は次のことをやってますが、OutOfMemoryExceptionを取得しています：

var script = File.ReadAllText(scriptFile); 
var scriptName = Path.GetFileName(scriptFile); 
var commands = Regex.Split(script, "^GO\r\n", RegexOptions.Multiline | RegexOptions.IgnoreCase); 

その後、commands内の各スクリプトフラグメントのために、私はExecuteNonQueryを呼びます。この大きなスクリプトファイルをロードしようとするまで、これはすべて正常に動作します。

このテキストファイルをより効率的に解析するための提案はありますか？

Answer 1

は、一度に1行を読んStringBuilderにそれらをバッファリングし、それが「ゴー」の行を見たときに、バッファが得られます。この

public static IEnumerable<string> SplitScriptOnGo(string scriptPath) 
{ 
    var buffer = new StringBuilder(); 
    foreach (var line in File.ReadLines(scriptPath)) 
    { 
     if (line == "GO") 
     { 
      yield return buffer.ToString(); 
      buffer.Clear(); 
     } 
     else 
     { 
      buffer.AppendLine(line); 
     } 
    } 
} 

のようなものを試してみてください。 ToListを実行しない限り、結果全体を反復処理し、スクリプト全体をメモリに読み込まずに各SQL文を実行することができます。

Answer 2

ReadAllText（）またはSplit（）で失敗しますか？

システムの仕様がわかりませんが、メモリ不足の疑いがあります。スプリット（）で失敗し、分割内の何かが無限ループを引き起こしています。

おそらく、すべてを一度に読むのではなく、最初の「行く」まで読んで実行し、次に読書を続けますか？最終的にはファイル全体を処理するか、失敗するでしょう（その時点で、デバッガで読み込んだ文字列を調べることによってどのGO文が問題を引き起こしているかを知ることになります）。