CSVファイルを読む？

Question

非常に大きなサイズのCSVファイルのデータを解析してソートする必要があります。ファイルは実際には600K行程度の大きさであることに注意してください。私はそれをどこに保存するか、DBにインポートする必要はありません。この実装を効率的に行う方法を教えてください。私はあなたの共有経験に感謝します。私はこのようにそれを行うだろう

Answer 1

...

var list = new List<float>(10000); 
using (var fs = new StreamReader(new FileStream("file.csv", FileMode.Open, FileAccess.Read, FileShare.None, 8192, FileOptions.SequentialScan))) 
{ 
    var line = fs.ReadLine(); 
    var columns = line.Split(','); 
    list.Add(Convert.ToSingle(columns[5])); 
} 
// Sort the list and do your calculations... 

お知らせFileOptions.SequentialScan、またと遊ぶbufferSizeまた...前より良い結果を得るために（デフォルト値は4096または8192であるかどうかわかりません）一覧のサイズを変更しないようにリストサイズを割り当てます。

Answer 2

外部ソートを使用して大きなファイルの並べ替えを処理する方法の1つです。それらをすぐに提供する数多くのCSVライブラリがあります。

Cinchoo ETLには、外部ソート機能を持つCSVReaderがあります。あなたはあなたの目的のためにそれを活用することができます

a。 CSVレコードを表すPOCOクラスを定義します。重要：クラスをシリアライズ可能として、外部ソートの対象としてマークします。

[Serializable] 
public class Customer 
{ 
    [ChoCSVRecordField(1)] 
    [Key] 
    public int Id { get; set; } 
    [ChoCSVRecordField(2)] 
    public string Street { get; set; } 
    [ChoCSVRecordField(4)] 
    public string City { get; set; } 
    [ChoCSVRecordField(6)] 
    public string Zip { get; set; } 
} 

b。列に対してソートする比較クラスを作成する（例：都市別ソート）

c。最後に、ChoCSVReaderを使用してCSVファイルを読み込みます。それらをソートするにはExternalSortingメソッドに渡してください。

foreach (var e in new ChoCSVReader<Customer>("Test.txt").WithDelimiter("\t").ExternalSort(new AddressCityComparer())) 
    Console.WriteLine(e.City); 

希望します。