iterate node.js request function

Question

この質問は、クローラーに関するnode.jsです。 start_urlは、URLをクロールして、URLに「プッシュ」するところに与えられます。 json-ファイル（output.json）。 現時点では、彼はstart_urlでリクエスト機能を実行し、収集したURLをoutput.jsonに保存します。私は何を行うことができますことは、再帰的関数呼び出しを行うことで、彼が最初に収集されたURLにstart_urlを置き換えることによって、保存されたURLを使用して、もう一度リンクを集めることをしたい...というように...

var fs = require('fs'); 
var request = require('request'); 
var cheerio = require('cheerio'); 

var start_url = ["http://stackoverflow.com/"] 

var req = function(url){ 
    request(url, function(error, response, html){ 
     var $ = cheerio.load(html); 

     var data = []; 

     $("a").each(function() { 
      var link = $(this); 
       var exurls = {exurl: new Array(link.attr("href"))} 

       data.push(exurls); 

       // Queue "exurls" for "start_url" and call the same function with the new URL (endless loop) 
       // save to "output.json" from time to time, so you can stop it anytime 
     }); 

     fs.writeFile("output.json", JSON.stringify(data, null, 4), function(err){ 
      if(err){ 
       console.log(err); 
      } else { 
       console.log("File successfully written!"); 
      } 
     }); 
    }); 
} 
for (var i = 0; i < start_url.length; i++){ 
    req(start_url[i]); 
} 

Answer 1

。以下の例では、動作するはずです：

var fs = require('fs'); 
 
var request = require('request'); 
 
var cheerio = require('cheerio'); 
 

 
var start_url = ["http://stackoverflow.com/"] 
 

 
var req = function(url){ 
 
    var count = 0; 
 
    
 
    request(url, function(error, response, html){ 
 
    var $ = cheerio.load(html); 
 

 
    $("a").each(function() { 
 
     var link = $(this); 
 
     var exurls = {exurl: new Array(link.attr("href"))} 
 

 
     start_url.push(exurls); 
 

 
     // Queue "exurls" for "start_url" and call the same function with the new URL (endless loop) 
 
     // save to "output.json" from time to time, so you can stop it anytime 
 
    }); 
 

 
    try { 
 
     fs.writeFileSync("output.json"); 
 
     console.log("File successfully written!"); 
 
    }catch(err){ 
 
     console.log(err); 
 
    } 
 
     
 
     ++count; 
 
     
 
     if(start_url.length > count) { 
 
     req(start_url[count]); 
 
     } 
 
    }); 
 
} 
 

 
return req(start_url[0]);

これに伴う問題は、あなたが完全にファイルごとに書き換えされていることです。これがしばらく続くと、あなたは記憶がなくなるでしょう。別のオプションは、

var fs = require('fs'); 
 
    var request = require('request'); 
 
    var cheerio = require('cheerio'); 
 

 
    var start_url = ["http://stackoverflow.com/"] 
 
    
 
    var wstream = fs.createWriteStream("output.json"); 
 

 
    var req = function(url){ 
 
     
 
     request(url, function(error, response, html){ 
 
     var $ = cheerio.load(html); 
 

 
     $("a").each(function() { 
 
      var link = $(this); 
 
      var exurls = {exurl: new Array(link.attr("href"))} 
 

 
      start_url.push(exurls); 
 

 
      // Queue "exurls" for "start_url" and call the same function with the new URL (endless loop) 
 
      // save to "output.json" from time to time, so you can stop it anytime 
 
      wstream.write('"'+ exurls + '",'); 
 
     }); 
 
      
 
     start_url.shift(); 
 
     if(start_url.length > 0) { 
 
      return req(start_url[0]); 
 
     } 
 
      
 
      wstream.end(); 
 
     }); 
 
    } 
 

 
    req(start_url[0]);

書き込みストリームを作成するために編集されていますので、戦闘メモリの問題の基本的なキューに

---

---