NodeJS：大きなcsvファイルを読む

私は、jsonを解析して500kbのテストで変換しようとしているjsonに解析して変換したい70MBの.csvファイルを持っています。私は正規表現で簡単な解決法を見つけました。
問題は私の実際のデータを入れたとき、私はもうfs.readFileSyncを使うことができないので、ストリームで作業する必要があります。
私の問題は、どうすればストリームと正規表現を扱うことができますか？私のストリームが可能な正規表現マッチの途中でバッファをカットするようになると、私はそのデータが失われると思います。また、データは構造化されていないので、正規表現よりも解析する方法はわかりません。
私は私の説明ではっきりしていないかどうか教えてください、英語は私の主要な言語ではありませんが、私も英語コミュニティが最も速く信頼性が高いことを知っています。NodeJS：大きなcsvファイルを読む

ありがとうございます。

出典

2017-08-11 Lucas Janon

を行うことができ、あなたがこのためにノードを使用している理由はありますか？私の経験から、PythonやRがはるかに適しています。 – spicypumpkin

ストリームをバッファに流すのはなぜですか？このように1行ずつ読む - https://stackoverflow.com/questions/16010915/parsing-huge-logfiles-in-node-js-read-in-line-by-line –

@spicypumpkin私はjsにもっと精通しています –

が安定readlineコアモジュール

であり、あなたが好奇心から、この

let lineReader = require('readline').createInterface({ 
    input: require('fs').createReadStream('file.csv') 
}) 

lineReader.on('line', (line) => { 
    // do regexs with line 
})

出典

2017-08-11 02:34:55

NodeJS：大きなcsvファイルを読む

答えて

関連する問題