カフカ0.10レプリケーションパフォーマンスの低下

Question

私はKafkaクラスタをベンチマークしようとしています。私は初心者です。私は3つのノードクラスタを構築する。各ノードには1つのパーティションがあります。私はデフォルトのブローカー設定を変更しませんでした。私はプロデューサーと消費者のコードを公式サイトから直接コピーしました。

私が複製1とパーティション3でトピックを作成したとき、私は170 MB /秒にすることができました。スループット。私が複製3とparititon 3でトピックを作成すると、30 MB /秒のスループットはほとんど見えません。

次に、このリンクにプロダクション設定を適用しましたhttps://kafka.apache.org/documentation#prodconfig。結果は悪化した。

私の経験を共有できますか？

 
disk type replication insert count one message length elapsed time req per sec concurreny throughput MB 
hdd 1 10,000,000 250 25 400,000 1 95.36743164 
hdd 1 10,000,000 250 28 357,000 2 170.2308655 
hdd 1 10,000,000 250 55 175,000 4 166.8930054 
hdd 1 1,000,000 250 22 45,400 8 86.59362793 
hdd 1 10,000,000 250 22 85,000 8 162.1246338 


hdd 3 1,000,000 250 10 100,000 1 23.84185791 
hdd 3 1,000,000 250 19 55,000 2 26.2260437 
hdd 3 1,000,000 250 30 32,000 4 30.51757813 
hdd 3 1,000,000 250 45 20,000 8 38.14697266 
hdd 3 10,000,000 250 559 18,000 8 34.33227539 

Answer 1

レプリケーションを増やすとパフォーマンスが低下することが予想されます。 Kafkaはメッセージデータを複数の異なるパーティションにコピーする必要がないため、最初の実行では高いスループットが得られます。レプリケーションファクタを増やすと、基本的に耐久性のスピードが向上します。