イベントキューのイベントを調整する

Question

recent SO questionには、多数のcsvファイルを処理中に実行中のOOM条件がまとめられています。

問題を探しているほど、Node.jsを読み進めているほど、OOMはメモリリークのために起こっていないと確信しますが、私はデータを抑制していないためですシステムに入力します。

コードはすべてのデータを盲目的に吸い込み、各行に対して単一のコールバックイベントを作成します。イベントはメインイベントループに追加され続け、最終的には非常に大きくなり、使用可能なすべてのメモリが使い果たされます。

このシナリオを処理するためのノードの慣用パターンとは何ですか？私はcsvファイルの読み込みを、一度完全になると、ファイルリーダーがより多くのデータを解析するのをブロックする何らかの種類のブロックキューに結びつけるべきですか？大きなデータセットの処理を扱う良い例がありますか？

---

更新は：違ったと単純にこれを配置するには、ノードは、より速く、それが出力やたるみが（イベントキューのイベントとしてキューに入れられた）メモリに保存されている処理できるよりも、入力を処理することができます。たるみがたくさんあるので、メモリは最終的に使い果たされます。だから問題は、出力を入力レートを調整する慣用的な方法は何ですか？

Answer 1

ストリームとしてストリームを設定し、組み込みのバックプレッシャのセマンティクスに依存することをお勧めします。それに関する本当に良い概観としてStreams Handbook。 UNIXと同様に

、ノード・ストリームモジュールの一次組成物演算子は（.pipeと呼ばれる）、あなたはゆっくりと、消費者のために書き込みを絞ること自由のためのバックプレッシャメカニズムを取得します。

更新

私は前に端末入力以外でreadlineモジュールを使用するが、それは入力ストリームと出力ストリームを受け入れるように見えるのドキュメントを読んでいませんでした。 DBライターを書き込み可能なストリームとしてフレーム化する場合は、内部でreadlineをパイプ処理できるようにする必要があります。