2017-05-03 13 views
0

私は単一のノードカフカセットアップを持っていました。それは正常に動作していた。私は別のブローカーを追加し、2つのノードを持つカフカのクラスターを作った。私は別の飼い猫をインストールしていないし、カフカパッケージに付属の同じ飼い猫を使っている。私はクラスタを作るために以下の変更を行った。両方のノードでzookeeper.propertiesでカフカの__consumer_offsetsトピックの問題0.10.2.0

変化:第2のノードの最初のノードとbroker2.propertiesでbroker1.propertiesに

dataDir=/tmp/zookeeper 
clientPort=2181 
maxClientCnxns=1000 
server.1=10.20.40.120:2888:3888 
server.2=10.20.40.119:2888:3888 
initLimit=10 
syncLimit=5 
tickTime=2000 

コピーserver.properties:broker1.propertiesの

内容:第2のノードにおけるbroker2.propertiesの

broker.id=1 
listeners=PLAINTEXT://10.20.40.120:9092 
advertised.listeners=PLAINTEXT://10.20.40.120:9092 
log.dirs=/tmp/kafka-logs 
num.partitions=1 
log.retention.hours=168 
zookeeper.connect=10.20.40.120:2181,10.20.40.119:2181 
zookeeper.connection.timeout.ms=6000 
replica.fetch.max.bytes=4000012 
message.max.bytes=2690123replica.fetch.max.bytes=4000012 
message.max.bytes=269
max.message.bytes=4000012 

内容:

broker.id=2 
listeners=PLAINTEXT://10.20.40.119:9092 
advertised.listeners=PLAINTEXT://10.20.40.119:9092 
log.dirs=/tmp/kafka-logs 
num.partitions=1 
num.recovery.threads.per.data.dir=1 
log.retention.hours=168 
zookeeper.connect=10.20.40.120:2181,10.20.40.119:2181 
zookeeper.connection.timeout.ms=6000 

ファイルmyidをbroker1に作成し、1を入れます。ブローカー2の2。

は、両方のコマンドの下に使用して飼育係を開始:

nohup bin/zookeeper-server-start.sh config/zookeeper.properties & 

は以下でbroker1とbroker2でカフカを開始し、それぞれのコマンド:

nohup bin/kafka-server-start.sh config/broker1.properties & 
nohup bin/kafka-server-start.sh config/broker2.properties & 

、私は__consumer_offsetsを記述しようとすると、私は以下を参照してください:

Topic:__consumer_offsets  PartitionCount:50  ReplicationFactor:1  Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer 
     Topic: __consumer_offsets  Partition: 0 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 1 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 2 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 3 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 4 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 5 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 6 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 7 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 8 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 9 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 10 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 11 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 12 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 13 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 14 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 15 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 16 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 17 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 18 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 19 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 20 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 21 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 22 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 23 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 24 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 25 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 26 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 27 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 28 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 29 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 30 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 31 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 32 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 33 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 34 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 35 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 36 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 37 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 38 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 39 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 40 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 41 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 42 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 43 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 44 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 45 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 46 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 47 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 48 Leader: 0  Replicas: 0  Isr: 0 
     Topic: __consumer_offsets  Partition: 49 Leader: 0  Replicas: 0  Isr: 0 

レプリケーションアクターを2に設定し、リードrは異なるパーティションで1と2、ReplicasとIsrで1,2となるでしょうか?

私がコンシューマーを始めようとしているとき、私はCOORDINATOR NOT AVAILABLEerror_code=15を得ています。このエラーのため、私は__consumer_offsetsにいくつかの問題があり、それゆえクラスタに問題があるかもしれないことを発見しました。

どこに行方不明のリンクがあり、それを修正する方法はありますか?

答えて

0

ブローカのプロパティファイルでnum.partitionsを2に設定する必要があります。注意すべきもう一つは、Kafkaが内部的にこのトピックを作成する前に少なくとも2つのブローカーが実行されていることを確認する必要があります。

関連する問題