カフカ：プロセスとストレージを配布する

Question

私はカフカで治療を配布するソリューションを探しています。 私は数百万の独立したエントリーで何らかの計算をしなければなりません。 3つの異なるVMに3つのカフカブローカーをインストールし、3つのパーティションのトピックに3つの異なるスレッドデータを生成して開始します。アイデアは、その後、同じコンシューマ・グループ内の3人のコンシューマを持つパーティションを消費し、他のプロセスの別のトピックに結果を格納することでした。 悲しいことに、1つのパーティションだけにすべてを格納することになりました。

完全な並列方法で異なるトピックにデータを生成することは可能ですか？ 1人のプロデューサーがX分ごとに各パーティションにほぼ同じ量のデータを送ることができればさらに良いでしょう。

私はkafka_2.11-0.10.2.0ブローカでjava kafka-clients 0.10.2.0を使用しています。

は

Answer 1

データはキーによって仕切られて、ありがとうございます。したがって、すべてのレコードが同じキーを持つ場合、それらはすべて同じパーティションに移動します。

書き込み元のパーティションをプロデューサに明示的に指定するか、ランダム配布を行うnull -keysを使用することができます。