カフカエラーのトピックを購読していません

Question

私の現在のインスタンスが購読されていないトピックのカフカ警告を見ました。私たちは同じカフカブローカーを使い、それぞれの開発者は自分の話題を持っています。しかし、我々はすべて、プロパティー・ファイルで指定された同じデフォルトのgroupID/clientidを使用します。

2017-06-27T11:48:35.20-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,195 WARN [NetworkClient] - [kafka-coordinator-heartbeat-thread | ingestion-matching-kafka-consumer-group] - Error while fetching metadata with correlation id 154274 : {to-process-yi=UNKNOWN_TOPIC_OR_PARTITION, to-process-shawn=UNKNOWN_TOPIC_OR_PARTITION} 
2017-06-27T11:48:35.34-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,339 INFO [PdfXmlMatcherTask] - [scheduler-1] - 
2017-06-27T11:48:35.34-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,340 INFO [PdfXmlMatcherTask] - [scheduler-1] - Checking messages... 
2017-06-27T11:48:35.41-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,412 WARN [NetworkClient] - [scheduler-1] - Error while fetching metadata with correlation id 154275 : {to-process-yi=UNKNOWN_TOPIC_OR_PARTITION, to-process-shawn=UNKNOWN_TOPIC_OR_PARTITION} 

この予定はありますか？各自が独自のトピックを持っていても、個別のグループ/クライアントIDが必要ですか？

第2に、このエラーの意味は分かりません。ハートビートコーディネータースレッドは2つのトピックのメタデータを取得できませんでしたが、これらのトピックは存在します。

Answer 1

client.id - 要求をトレースするのに便利です。クライアントごとに一意である必要があります（必須ではありません）。

groupid - これはコンシューマにのみ適用されます。あなたの簡単な説明では、おそらく各消費者をそれぞれのグループに入れたいと思うでしょう。

私はあなたがConsumerGroupsのためにあるものを読むことをお勧め： 「カフカは、共通のグループ識別子を共有する消費者の集合であるコンシューマ・グループ、間のパーティションを配布することで話題の消費を拡大縮小します。」 https://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client/

UNKNOWN_TOPIC_OR_PARTITIONがエラーでありますトピックまたはパーティションが存在しないときにブローカが正確に返すことを示します。それはカフカのクライアントがretriableとして扱うエラーです。

トピックが存在すると思われる場合は、2回確認してください。 トピックが存在するが、プロデューサまたはコンシューマが既存のトピックの存在しないパーティションを直接対象としている場合もあります。