Firebaseキューの遅延 - パフォーマンスの問題

Question

私はfirebase-queueを使用してサーバー側の作業を処理しています。ユーザーが登録すると、サーバーは、3つのタスク

var customSpecs = { 
    'queue': { 
    'specs': { 
     'save_user_to_firebase': { 
     'in_progress_state': 'save_user_to_firebase_in_progress', 
     'finished_state': 'save_user_to_firebase_finished', 
     'retries': 3 
     }, 
     'fetch_from_third_party_API': { 
     'start_state': 'save_user_to_firebase_finished', 
     'in_progress_state': 'fetch_from_third_party_API_in_progress', 
     'finished_state': 'fetch_from_third_party_API_finished', 
     'retries': 3 
     }, 
     'save_to_google_datastore':{ 
     'start_state': 'fetch_from_third_party_API_finished', 
     'in_progress_state': 'save_to_google_datastore_finished', 
     'retries': 3 
     } 
    } 
    } 
} 

私は機能せずにテストコードを書いたが処理されます。 firebase-queueのパフォーマンスをテストするために、私はすべてのユーザに対してsave_user_to_firebaseタスクが開始する時刻を記録します。

まずキュー

var options = { 
     'specId': 'save_user_to_firebase', 
     'numWorkers': 100 
    } 


    var saveUserQueue = new Queue({ tasksRef: taskRef, specsRef: specsObjectRef }, options, function (data, progress, resolve, reject) { 

    var t0 = process.hrtime(); 
    var testUser = data.test_user; 

    var now = new Date(); 
    console.log("started %s %d:%d:%d:%d", testUser, + now.getHours(), now.getMinutes(), now.getSeconds(), now.getMilliseconds()); 

    var t1 = process.hrtime(t0); 
    console.log("save_user_to_firebase completed in %s %ds %dms", testUser, t1[0], t1[1]/1000000 ); 

    resolve(data); 
    } 

セカンドキュー

var options = { 
    'specId': 'fetch_from_third_party_API', 
    'numWorkers': 100 
    }; 

    var fetchFromAPI = new Queue({ tasksRef: taskRef, specsRef: specsObjectRef }, options, function(data, progress, resolve, reject) { 

    var testUser = data.test_user; 
    var t0 = process.hrtime(); 
    //Add code for fetching from API 
    var t1 = process.hrtime(t0); 

    console.log("fetchFromAPI completed in %s %ds %dms", testUser, t1[0], t1[1]/1000000); 
    resolve(data); 
    }); 

サードキュー

var options = { 
     'specId': 'save_to_google_datastore', 
     'numWorkers': 100 
    }; 


    var save_to_google_datastoreQueue = new Queue({ tasksRef: taskRef, specsRef: specsObjectRef }, options, function(data, progress, resolve, reject) { 

    var testUser = data.test_user; 

    var t0 = process.hrtime(); 

    var now = new Date(); 
    var t1 = process.hrtime(t0); 
    console.log("datastoreInsertActivitiesQueue completed %s %ds %dms",testUser, t1[0], t1[1]/1000000); 
    resolve(data); 
    }) 

私は、単一の更新呼び出しで40個のタスクを押しました。私は各キューに100人の従業員を使用します。私はsave_user_to_firebase tasksのためにかなりの遅延があることを知りました。私はキュー内に機能を持っていません。結果は上記のコードによって生成されます。

私はすべてのユーザーと、キュー内の最初のユーザーの時間との間の時間差を測定します。

started user1 at 13:5:13:575 
…… 
started user40 at 13:5:34:545 

ログを解析し、各ユーザーの遅延を計算するスクリプトを作成しました。以下は出力です：

user1 delay = 0:0 
user3 delay = 0:0 
user4 delay = 0:0 
user5 delay = 0:1 
user6 delay = 0:2 
user7 delay = 0:2 
user2 delay = 0:2 
user9 delay = 0:3 
user10 delay = 0:4 
user11 delay = 0:4 
user12 delay = 0:5 
user13 delay = 0:5 
user14 delay = 0:6 
user8 delay = 0:7 
user16 delay = 0:7 
user15 delay = 0:8 
user18 delay = 0:9 
user19 delay = 0:10 
user20 delay = 0:10 
user21 delay = 0:11 
user22 delay = 0:12 
user17 delay = 0:12 
user24 delay = 0:13 
user23 delay = 0:13 
user26 delay = 0:14 
user27 delay = 0:14 
user28 delay = 0:14 
user29 delay = 0:15 
user30 delay = 0:16 
user25 delay = 0:16 
user32 delay = 0:17 
user31 delay = 0:17 
user34 delay = 0:18 
user35 delay = 0:18 
user36 delay = 0:18 
user37 delay = 0:19 
user38 delay = 0:20 
user33 delay = 0:21 
user40 delay = 0:20 
user39 delay = 0:21 

これは正常なパフォーマンスですか？

Answer 1

Firebaseキューライブラリは、Firebaseデータベーストランザクションを使用して、1つのワーカープロセスだけがタスクを取得できるようにします。つまり、最大スループットはタスクの大部分に依存します。従業員が増え、タスクが短ければ短いほど、競合がキューに多くなります。短い作業では、半ダース以上の労働者を使用しないことをお勧めします。その後、スループット・ゲインのレベルがオフになり、潜在的に減少することがわかります。