消費者がカフカから1MB以上のレコードを要求するには

Question

私の消費者がカフカから新しいバッチを要求すると、常に1MBのデータを要求し、次に1MBを要求するように見えます。誰かが20MBのバッチを受信するための設定とプログラミングの手順を知っていますか？

Answer 1

コンシューマプロパティのプロパティmax.partition.fetch.bytesを希望の値（デフォルトは1MB）に設定できます。

また、この値は、コンシューマがブローカによって受け入れられたすべてのメッセージを確実に読み取ることができるように、ブローカ構成ではmax.message.sizeプロパティ以上である必要があります。

最後に、20MBの処理に時間がかかりすぎる場合は、コンシューマが消費者が死んだと考えて再バランスを引き起こさないように、コンシューマでsession.timeout.msの設定を増やすことができます（デフォルトは3秒）。