forEachを非同期の滝のように実行します。

Question

Google APIでNode.jsスクリプトを使用して住所のリストから経度と緯度を取得しようとしています。呼び出し自体は正常に動作しますが、約100個のアドレスを送信する必要があります。配列でasync.forEachを使用していますが、呼び出しが速すぎるため、「このAPIのレート制限を超過しました」というエラーが表示されます。

コール数は、24時間ごとに2500回、最大10秒間に制限されています。私は1日2500人でOKですが、私は自分の通話料金がレート制限のために速すぎるようにします。

私は今、制限に達することができないほどコールを遅らせる機能を書く必要があります。ここに私のコードのサンプルです：

async.forEach(final_json, function(item, callback) { 
    var path = '/maps/api/geocode/json?address='+encodeURIComponent(item.main_address)+'&sensor=false'; 
    console.log(path); 
    var options = { 
     host: 'maps.googleapis.com', 
     port: 80, 
     path: path, 
     method: 'GET', 
     headers: { 
     'Content-Type': 'application/json' 
     } 
    } 
    // a function I have who makes the http GET 
    rest.getJSON(options, function(statusCode, res) { 
     console.log(res); 
     callback(); 
    }); 
}, function() { 
    // do something once all the calls have been made 
}); 

これを達成するためにどのように進めますか？私はasync.waterfallはそれのように見えます

...それは同時に、ほぼすべてのsetTimeoutを開始し、したがって、それは何も変更しないように速く、すべての行を私の100msのsetTimeout内部rest.getJSONが、forEach繰り返し処理を入れてみましたそのトリックを行うだろうが、私はどのくらいの行を持っているのか分からないので、すべての関数呼び出しをハードコードすることはできません。そして、正直に言うと、それは私のコードが本当に醜くなるだろう

Answer 1

アイデアは、あなたがキューイングされますすぐに実行し、中には実行されません任意の呼び出しを除いて、多くのthrottledまたはdebounced機能のような役割を果たしrateLimited機能を作成することができるということですレート制限期間の満了に応じて注文します。

基本的には、タイマーの再スケジューリングによって自己管理するパラレル1秒間隔を作成しますが、最大でもperSecondLimitの間隔が許可されます。

function rateLimit(perSecondLimit, fn) { 
    var callsInLastSecond = 0; 
    var queue = []; 
    return function limited() { 
     if(callsInLastSecond >= perSecondLimit) { 
      queue.push([this,arguments]); 
      return; 
     } 

     callsInLastSecond++; 
     setTimeout(function() { 
      callsInLastSecond--; 
      var parms; 
      if(parms = queue.shift()) { 
       limited.apply(parms[0], parms[1]); 
      } 
     }, 1010); 

     fn.apply(this, arguments); 
    }; 
} 

使用法：

function thisFunctionWillBeCalledTooFast() {} 
var limitedVersion = rateLimit(10, thisFunctionWillBeCalledTooFast); 

// 10 calls will be launched immediately, then as the timer expires 
// for each of those calls a new call will be launched in it's place. 
for(var i = 0; i < 100; i++) { 
    limitedVersion(); 
} 

Answer 2

は、ここで私は（：arrは場所のあなたの配列である注）：それをハックしまう方法です、あなたが機能をレート制限を追加することができ

function populate(arr, callback, pos) { 
    if(typeof pos == "undefined") 
     pos=0; 
    var path = '/maps/api/geocode/json?address='+encodeURIComponent(arr[pos].main_address)+'&sensor=false'; 
    console.log(path); 
    var options = { 
     host: 'maps.googleapis.com', 
     port: 80, 
     path: path, 
     method: 'GET', 
     headers: { 
     'Content-Type': 'application/json' 
     } 
    } 
    // a function I have who makes the http GET 
    rest.getJSON(options, function(statusCode, res) { 
     console.log(res); 
    }); 
    pos++; 

    if(pos<arr.length) 
     setTimeout(function(){ 
      populate(arr,callback,pos); 
     },110); //a little wiggle room since setTimeout isn't exact 
    else 
     callback(); 
} 

けど、 IMHO、それは不必要な複雑さをもたらします。あなたが本当にやりたいことは、あなたのリストが完了するまで関数を10分の1秒ごとに呼び出すことです。そうしてください。

これは確かに代替として拡張可能ではありませんが、私はシンプルさのファンです。