javascriptで大規模な配列を扱う方法

Question

私は、JavaScriptの大規模なデータセットを扱うための最良の戦略を見つけようとしています。私は100ms間隔で4時間のデータを読み込んだファイルを持っています。

これは1次元配列になりますが、すべてを一度に読み込むことはできません。私はそれをより小さな配列に分割しようとするべきです、そして、最適な配列サイズはありますか？

私はこの種の問題に対処しなければならないのは初めてのことです。配列の中には500kbしかありませんが、1つのモジュールの書き出しとしてロードされません。何らかの理由でAJAXがうまく動作しますか？もしそうなら、なぜですか？

Answer 1

fetch()と.getReader()のプロパティはResponseで、ReadableStreamが返され、データをストリームとして読み取ることができます。

fetch("/path/to/server") 
.then(response => response.body.getReader()) 
.then(reader => { 
    const processStream = ({done, value}) => { 
      if (done) { 
      return reader.closed; 
      } 
      // do stuff with `value`:`Uint8Array` chunk of data 
      return reader.read().then(processStream); 
     } 
    return reader.read().then(processStream);     
}) 
.then(() => "done reading stream") 
.catch(err => console.error(err));