3ノードカフカクラスタを設定するには

Question

3つのノードカフカクラスタを設定し、ソースDBの数に30のトピックを接続する必要があります。処理するメッセージの正確な数はわかりませんが、1日あたり何百万もの数があると思います。

カフカの保存期間は30日に設定されています。必要に応じて30日前のデータに戻すことができます。

どうすれば進めてください。

多くのおかげ

Answer 1

SETUP：することができますセットアップ特定のマニュアルの指示に従って、マルチブローカクラスタ。 https://kafka.apache.org/quickstart#quickstart_multibroker

3ノードクラスタでは、トピックごとに3つのブローカーと3つの飼育係ノードとレプリケーションファクタ3を設定する必要があります。要件/ユースケースによっては、トピックごとに3つ以上のパーティションを持つことができます。

RETENTION：あなたがあなたのデータが生成され、消費される方法に関する詳細な情報を収集する必要がありlog.retention.hours https://kafka.apache.org/documentation/#brokerconfigs

を使用して保持ポリシーを定義することができます。消費者側の処理ロジックに応じて、1パーティションあたり100万メッセージを消費する必要はありません。ただし、並列処理とスループット向上のためにパーティションを追加することができます。

質問には具体的にする必要がありますが、試してみてください。