Promise.allメモリリークを待っているループ

Question

約500,000のuidを実行して、関連するデータを約束（promiseUserData（uid））で取得します。何らかの理由で、メモリ使用量がループごとにクリアされることはありません。

ループごとに約4MBのデータが使用され、メモリからはクリアされません。

これを修正する方法としてはわかりません。プロミスプールもこの問題を引き起こします。

助けていただければ幸いです。

は、あなたが一度にすべての反復のための1000年の約束を作成している

for (var i = 0; i <= numPasses; i++) { 
    var subset = uids.splice(0, 1000); 

    var userDataArray = []; 

    var promises = []; 
    subset.map((uid) => { 
     promises.push(promiseUserData(uid).then((userData) => { 
      if (userData) { 
       userDataArray.push(userData); 
      } 
     })); 
    }); 

    await Promise.all(promises).catch((err) => { 
     console.log('Error in Promises.all: ', err); 
    }); 
} 

Answer 1

ありがとうございます。

私はあなたが何をしようとしているかは完全にはわかりませんが、Bluebird.map()のようなものを探していると思います。これは、設定された並行性で多くの約束を処理する便利な方法です。すでに約束事をバッチで処理するために、ループ内でスプライスを使用している可能性があります。

このアプローチでは、インストールする必要がありますし、インポートブルーバード：

const userDataArray = []; 
try { 
    await Bluebird.map(uids, async (uid) => { 
    const userData = await promiseUserData(uid); 
    if (userData) { userDataArray.push(userData); } 
    }, { concurrency: 100 }) 
} catch (err) { 
    console.log('Error in Promises.all: ', err); 
}