Node.JSは何百ものファイルを同時にダウンロードします

Question

同時に100個以上のファイルをダウンロードしようとしています。しかし、ダウンロード機能を実行すると、Macbookがフリーズ（新しいタスクを実行することができない）し、Windowsではダウンロードも（フリーズしません）、どちらの場合でもダウンロードが進行しません（アイドルネットワーク）。ここで

は、私のダウンロードモジュールです：

var express = require('express'); 
var router = express.Router(); 
var fs = require('fs'); 
var youtubedl = require('youtube-dl'); 
var links = require('../models/Links'); 

router.get('/', function (req, res, next) { 
    links.find({dlStatus: false}, function (err, docs) { 

     if (err) { 
      console.log(err); 
      res.end(); 
     } else if (!docs) { 
      console.log('No incomplete downloads!'); 
      res.end(); 
     } else { 
      for (var i = 0; i < docs.length; i++) { 

       //todo scraping 


       var video = youtubedl(docs[i].url, [], {cwd: __dirname}); 

       // Will be called when the download starts. 
       video.on('info', function (info) { 
        console.log('Download started'); 
        console.log(info); 
       }); 

       video.pipe(fs.createWriteStream('./downloads/' + docs[i].id + '-' + i + '.mp4')); 
       video.on('complete', function complete(info) { 
        links.findOneAndUpdate({url: info.webpage_url}, {dlStatus: true}, function (err, doc) { 
         if (err)console.log(err); 
         else console.log('Download completed!') 
        }); 
       }); 
      } 
     } 
    }); 
}); 

module.exports = router; 

は今、誰もがここで私を助けてくださいことができますか？私はファイルをダウンロードするためにthisモジュールを使用しています。

Answer 1

この場合、ソリューションはasyncを使用しています。

はasync.each()

var express = require('express'); 
var router = express.Router(); 
var fs = require('fs'); 
var youtubedl = require('youtube-dl'); 
var links = require('../models/Links'); 
var async = require('async') 

router.get('/', function (req, res, next) { 
    links.find({dlStatus: false}, function (err, docs) { 

     if (err) { 
      console.log(err); 
      res.end(); 
     } else if (!docs) { 
      console.log('No incomplete downloads!'); 
      res.end(); 
     } else { 
      async.each(docs,function(doc,cb){ 
       var video = youtubedl(doc.url, [], {cwd: __dirname}); 

       // Will be called when the download starts. 
       video.on('info', function (info) { 
        console.log('Download started'); 
        console.log(info); 
       }); 

       video.pipe(fs.createWriteStream('./downloads/' + docs.id + '-' + i + '.mp4')); 
       video.on('complete', function complete(info) { 
        links.findOneAndUpdate({url: info.webpage_url}, {dlStatus: true}, function (err, doc) { 
         if (err){ 
         console.log(err); 
         cb(err); 
         } 
         else { 
         console.log('Download completed!'); 
         cb() 
         } 
        }); 
       }); 

      },function(err){ 
       if(err) 
       return console.log(err); 
       console.log("Every thing is done,Here!!"); 
      }) 
     } 
    }); 
}); 

module.exports = router; 

そして、あなたはあまりにもasync.eachLimits()を使用してバッチですべてのものを処理することができて....このようにそれを試してみてください。