nodejs同期行ごとに大きなファイルを読み込みますか？

Question

大きなファイル（utf8）があります。私はfs.createReadStreamは、大きなファイルを読むためにストリームを作成できますが、同期されていないことを知っています。だから私はfs.readSyncを使用しようとしますが、読むテキストは"迈�"のように壊れています。

var fs = require('fs'); 
var util = require('util'); 
var textPath = __dirname + '/people-daily.txt'; 
var fd = fs.openSync(textPath, "r"); 
var text = fs.readSync(fd, 4, 0, "utf8"); 
console.log(util.inspect(text, true, null)); 

Answer 1

使用readFileSync：

fs.readFileSync（ファイル名、[符号化]） fs.readFileの同期バージョン。ファイル名の内容を返します。

エンコードが指定されている場合、この関数は文字列を返します。 それ以外の場合は、バッファを返します。

ノードを使用しているので、私は非同期関数の使用をお勧めします。

Answer 2

二つの潜在的な問題、

1. あなたは
2. 最初の4バイトがうまく大の場合

Answer 3

UTF8の文字をフォーマットする（UTF8が固定されていない長さ）することはできませんスキップしませんでした先頭にBOMを3バイトファイル、readFileSyncはメモリ内のファイル全体を読み込むので不便です。異なる同期アプローチは、一度に小さなビットのデータを読み取って、それが来るときに線を処理することを繰り返してreadSyncを呼び出すことです。次のコードビットは、このアプローチを実装し、同期ファイル「test.txtの」から一度に1つの行を処理します。

var fs = require('fs'); 
var filename = 'test.txt' 

var fd = fs.openSync(filename, 'r'); 
var bufferSize = 1024; 
var buffer = new Buffer(bufferSize); 

var leftOver = ''; 
var read, line, idxStart, idx; 
while ((read = fs.readSync(fd, buffer, 0, bufferSize, null)) !== 0) { 
    leftOver += buffer.toString('utf8', 0, read); 
    idxStart = 0 
    while ((idx = leftOver.indexOf("\n", idxStart)) !== -1) { 
    line = leftOver.substring(idxStart, idx); 
    console.log("one line read: " + line); 
    idxStart = idx + 1; 
    } 
    leftOver = leftOver.substring(idxStart); 
} 

Answer 4

使用私は簡単なバージョンJBコーンの答えを建てhttps://github.com/nacholibre/node-readlines

var lineByLine = require('n-readlines'); 
var liner = new lineByLine('./textFile.txt'); 

var line; 
var lineNumber = 0; 
while (line = liner.next()) { 
    console.log('Line ' + lineNumber + ': ' + line.toString('ascii')); 
    lineNumber++; 
} 

console.log('end of line reached'); 

Answer 5

ことバッファー上でsplit（）を使用します。私が試した大きなファイルで動作します。

/* 
* Synchronously call fn(text, lineNum) on each line read from file descriptor fd. 
*/ 
function forEachLine (fd, fn) { 
    var bufSize = 64 * 1024; 
    var buf = new Buffer(bufSize); 
    var leftOver = ''; 
    var lineNum = 0; 
    var lines, n; 

    while ((n = fs.readSync(fd, buf, 0, bufSize, null)) !== 0) { 
     lines = buf.toString('utf8', 0 , n).split('\n'); 
     lines[0] = leftOver+lines[0];  // add leftover string from previous read 
     while (lines.length > 1) {   // process all but the last line 
      fn(lines.shift(), lineNum); 
      lineNum++; 
     } 
     leftOver = lines.shift();   // save last line fragment (may be '') 
    } 
    if (leftOver) {       // process any remaining line 
     fn(leftOver, lineNum); 
    } 
}