nodejs-カフカノードモジュール - 私はkafa消費者作成するには、「カフカ・ノードを」ノードモジュールを使用している各パーティション

Question

から同じMSGを取得：何が起こる

var client = new kafka.Client(ZOO_KEEPER_URL, PORTAL_CLIENT_ID); 
var topics = [ 
     { "topic" : MY_TOPIC_NAME, 
     partition: 0 
     }, 
     { "topic" : MY_TOPIC_NAME, 
     partition: 1  } 
    ]; 
var options = { 
     autoCommit: false, 
     groupId: GROUP_ID, 
     fromOffset : false 
    }; 
var consumer = new Consumer(client, topics, options); 
    consumer.on('message', function (message) { 
     console.log("New Message; offset: "+ message.offset + " Partition: "+message.partition);   
    }); 

は検索されたオフセットは同じですパーティション0から1回、パーティション1から。 私が期待したのは、ZooKeeperがバランスをとってこれを管理する方法を知っていることです。

注： ユースケースは、カフカから使用可能な任意のMSGから読んでいる - >弾性検索に足す - >カフカにコミットする（自動コミットがfalseに設定されている理由です）

Answer 1

各パーティションには、オフセット、自身を持っています異なるデータを含んでいます。したがって、パーティション0からのオフセットゼロのメッセージと、パーティション1からのオフセットゼロのメッセージを受け取った場合、それは2つの異なるメッセージです。また、コミット時には、すべてのパーティションのオフセットが独立して格納されます。