大規模なオンラインテキストファイルでテキストを検索する最速の方法

Question

テキストのみを含むURLがあります。

それは目標がsecondWord、その後Console.WriteLinefirstWordを探すことです

firstWord~:::~secondWord

の形式です。

WebClientを使用してテキストファイルをstringにダウンロードしてから、regexを探して見つけてください。

問題は、このファイルが約1ギガバイトになることです。これを実行する最速の方法は何か分かりません。

アイデア？ありがとう！

Answer 1

私が考えることのできる最も速い方法は以下のとおりです。それはここでいくつかのダニを剃ることができないと言っているわけではありません...我々はこれ以上合理化できるかどうかを確認する他のフィードバックのために満足しています。

// WebClient is very bulky with a lot of stuff we don't need. 
// By dealing with the request, response and stream ourself we can get the string a bit faster. 
WebRequest request = WebRequest.Create("http://www.UrlToDownloadStringFrom.com"); 
WebResponse response = request.GetResponse(); 
Stream stream = response.GetResponseStream(); 
StreamReader streamReader = new StreamReader(stream); 

// the result should return "firstWord~:::~secondWord" as expected. 
string result = streamReader.ReadToEnd(); 

// split the string apart whenever the string ~:::~ appears within it. 
string[] resultSplit = result.Split(new string[] { "~:::~" }, StringSplitOptions.None); 

// resultSplit[0] is firstWord, resultSplit[1] is second word 
string secondWord = resultSplit[1];