1.0へのアップグレード後のKafka内部トピックの推奨設定

Question

Kafka 0.10から最新の1.0に移行しています。私はカフカ0.10でこれらのフィールドの値を設定しませんでした。いくつかのいずれかが私が何であるかを知らせることができserver.propertiesにおける内部トピックの設定以下のため単一ノードブローカクラスタのための3ノードブローカクラスタ&の推奨設定 -

• offsets.topic.replication.factor
• transaction.state.log.replication.factor
• transaction.state.log.min.isr

単一ノードkafkaブローカーで1.0にアップグレードした後にこの値を変更しない場合は、デフォルト値の3が使用されます。では、この場合の動作は何でしょうか？ 3つの以上のブローカーとのクラスタの場合

Answer 1

に設定する必要があります。

3つのパラメータはすべて、クラスタの高可用性とトランザクションとトピックの複製の冗長性を強化します。

offsets.topic.replication.factorパラメータも0.10.Xでした。 3ノードクラスタの場合は、デフォルトのままにしておくことをお勧めしますが、単一ノードの場合は、これを1に最小化する必要があります。

transaction.logパラメータの場合、カフカの2つのバージョンで同じ。 See this。しかし、コンセプトは同じです。テストする場合はデフォルトを最小化し、シングルノードクラスタの場合はdevを最小限に抑えてください。そうでない場合は、3ノードクラスタ上で、選択されたトラフィックとコンシューマ/プロデューサの選択に依存します。トランザクションログは、明らかに、クラスタ上の要求（メッセージの追加またはメッセージの読み取り）の数に比例して、多くの領域を占有する可能性があります。

See this。新しいバージョンでは、トピックを作成するときに0.10X kafkaサーバーでこのパラメータがオプションである可能性があります。something is changed for the 0.11 1.0Xのアップグレードノート：「新しいコンシューマ設定プロパティを使用するように更新されたconfig/consumer.propertiesファイル」

Answer 2

• 、これらの設定のdefault valuesは、ほとんどのユースケースに適しています：

  • offsets.topic.replication.factor=3
  • transaction.state.log.replication.factor=3
  • transaction.state.log.min.isr=2

  これらのデフォルト値は高い可用性を提供します。 3つのブローカー間でデータが複製されるため耐久性が保証されます。彼らはまた、1ブローカーを持つことができ、依然としてトランザクションの有無にかかわらず生産/消費することができます。あなたは選択肢を持っていない単一ノードとクラスタの場合

• 、これらの設定は、クラスタ内のブローカーの数よりも高くすることはできませんので、彼らはすべて1