kafkaの最小レコードオーバーヘッドは何ですか？

Question

イベントバッチをTopic1に流し込み、ワーカーを使い分けてTopic2に再発行するという簡単な設定があるとします。私たちのバッチは最大1000のイベントであり、場合によっては、私たちの下流のTopic2がTopic1の5倍の大きさであることがわかります。

kafkaトピックの1つのレコードに対してペイロードに付随するデータの量は、特殊なヘッダーを持たない最も簡単なケースではどれくらいですか？イベントごとのレコードのこの余分なオーバーヘッドは、特定のデータセットのデータフットプリントの5倍になりますか？

Answer 1

これは、製造レコードhereの完全なメッセージフォーマットです。あなたは5倍以上のデータを見るべきではありません。私は、メッセージに何が追加されているのかを見るために、コンソールコンシューマーでいくつかのメッセージを消費することをお勧めします。