2016-05-16 9 views
1

カッパをIoTユースケースのメッセージブローカーとして使用する予定です。各デバイスはユニークなトピックとみなされます。私が1秒間に10件のメッセージをシミュレートしたとき、飼い猫がボトルネックになっているので、Kafkaのすべての監視ツールはJMXポートからのスループット値とトピック数を読み込めません。チューニングの飼い主が問題を解決します。 In IoTのユースケースでは、数百万のデバイスポーリングデータが何百万というトピックにも存在します。私はアプローチが完璧であることを確認したい。提案してください。カフカのリード動物園の失敗数を増やす

+0

これは可能です。しかし、一般的な答えを出すのは難しいです。あなたの質問は広範かつ複雑です。私はちょうど疑問に思っています、なぜあなたは各デバイスのための単一のトピックを持っている - トピック内の異なるパーティションを使用する方が良いかもしれません... –

+0

@ MatthiasJ.Sax私は複数のデバイス。それは可能なのでしょうか、トピック内で違うパーティションを試すべきですか?私はそれをする方法を知らない。 – devd

+0

最も簡単な方法は、Xパーティションでトピックを作成し、そのトピックにデータを書き込むときに固有のデバイスIDをキーとして設定することです。これにより、キーベースのハッシュ・パーティショニングを介して、単一のセンサーからのすべてのデータが同じパーティションに書き込まれることが自動的に保証されます。 –

答えて

0

あなたは、理論的にはKakfaで数百万のトピックを持つことができますが、Kafkaのトピック数はbound by Zookeeperであり、数百万のトピックを持つことはできません。デバイスごとにトピック/パーティションを作成することは、スケーラブルなソリューションではありません。

何百万というトピックが必要な理由はありますか?

関連する問題