URLに順次アクセスする方法

Question

配列に約10KのURLがあります。それ以外の時には、これは100Kかもしれません。私はプログラムでそれらを訪問し、応答を取得し、それを印刷したり、何かをする必要があります。すべてのURLが属するサーバーの窒息を防ぐために、私はそれらを順番に訪問したいと思います。私はこれを行う非同期モジュールがあることを知っています。私の質問です：非同期はこれを行う唯一の方法ですか？より多くのURLのために非同期で拡張できるのでしょうか？

Answer 1

crawlerのようなWebクローラー・モジュールを使用します（または、node-modules.comまたはnpmjs.comのクローラー・キーワードを検索してください）。

var Crawler = require("crawler"); 
var url = require('url'); 

var c = new Crawler({ 
    maxConnections : 10, 
    // This will be called for each crawled page 
    callback : function (error, result, $) { 
     // $ is Cheerio by default 
     //a lean implementation of core jQuery designed specifically for the server 
     $('a').each(function(index, a) { 
      var toQueueUrl = $(a).attr('href'); 
      c.queue(toQueueUrl); 
     }); 
    } 
}); 

// Queue a list of URLs 
c.queue(['http://jamendo.com/','http://tedxparis.com']);