エラー：スクレイピング時にETIMEDOUTを接続します

Question

私は以下の機能を持っています：
1.コレクションfooからmongoDB文書から3000の 'id'プロパティの配列を取得します。
2. IDごとに 'resp' objを取得するために各IDに対してGET要求を作成し、別のデータベースに格納します。

router.get('/', (req, res) => { 

    var collection = db.get().collection('foo'); 
    var collection2 = db.get().collection('test'); 
    collection.distinct('id', (err, idArr) => { // count: 3000+ 
    idArr.forEach(id => { 
    let url = 'https://externalapi.io/id=' + id 
    request(url, (error, response, body) => { 
      if (error) { 
      console.log(error) 
      } else { 
      resp = JSON.parse(resp); 
      collection2.insert(resp); 
      } 
    }); 
}); 

ノード・エラー・ログ：私はレート制限（25cps）が発生しないように、単純なレートリミッタを使用しています

[0] events.js:163 
[0]  throw er; // Unhandled 'error' event 
[0]  ^
[0] 
[0] Error: connect ETIMEDOUT [EXT URL REDACTED] 
[0]  at Object.exports._errnoException (util.js:1050:11) 
[0]  at exports._exceptionWithHostPort (util.js:1073:20) 
[0]  at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1093:14) 

：

const limit = require("simple-rate-limiter"); 
const request = limit(require("request")).to(20).per(1000); 

しかし、どこかの間に300から1700個の要求をIコマンドラインでノードをクラッシュさせるこのエラーを受け取ります。 このエラーを処理してアプリケーションのクラッシュを防止するにはどうすればよいですか？

あなたが同時にで飛行している要求の最大数を制御したい場合は、私はエラー処理の多くを試してみましたが、それらのどれもがコメントで述べたようにconnect ETIMEDOUT

Answer 1

を処理することができませんでした

const Promise = require('bluebird'); 
const rp = require('request-promise'); 

router.get('/', (req, res) => { 

    let collection = db.get().collection('foo'); 
    let collection2 = db.get().collection('test'); 
    collection.distinct('id', (err, idArr) => { // count: 3000+ 
     if (err) { 
      // handle error here, send some error response 
      res.status(501).send(...); 
     } else { 
      Promise.map(idArr, id => { 
       let url = 'https://externalapi.io/id=' + id 
       return rp(url).then(body => { 
        if (error) { 
         console.log(error) 
        } else { 
         let resp = JSON.parse(body); 
         // probably want to return a promise here too, but I'm unsure what DB you're using 
         collection2.insert(resp); 
        } 
       }).catch(err => { 
        // decide what you want to do when a single request fails here 
        // by providing a catch handler that does not rethrow, other requests will continue 
       }); 
        // pick some concurrency value here that does not cause errors 
      }, {concurrency: 10}).then(() => { 
       // all requests are done, send final response 
       res.send(...); 
      }).catch(err => { 
       // your code may never get here (depends upon earlier .catch() handler) 
      }); 
     } 
    }); 
});